Schloss Warth ist eine kleine Burg, welche in einer exponierten Lage bei St. Pauls auf einem kleinen Hügel thront. Sie ist eine der jüngsten Burgen im Überetsch, welche sich aus dem seit dem 12. Jh. bestehenden Hof gebildet hat. Der Hof wurde 1194 vom Geschlecht der Grafen von Eppan an den Bischof von Trient übergeben, jedoch um ihn 1211 als Lehen zurückzuerhalten. 1250 kam Schloss Warth an den Tiroler Landesfürsten, welcher es damals schon an adelige Familien verliehen hat.
In jener Zeit bewohnte ein kleinadeliger Herr namens Ulrich von Altenburg das Gebäude. Er errichtete das Palas, also das Wohngebäude, sowie den Bergfried. Wo es nötig war, schützte eine Ringmauer die kleine, neuentstandene Burg. Später verkaufte ein bestimmter Peter Warter die gesamte Anlage, die danach einige Male die Bewohner wechselte. Im Folgenden wurde Schloss Warth offensichtlich erweitert.
Die letzten adeligen Besitzer waren die Grafen Künigl zu Ehrenburg. Sie übergaben schließlich alles an die Familie Frank, welche auch heute noch mit viel Liebe die Bauten im Stand hält und sicherstellt, dass sich alle Gäste wohlfühlen.

Bergfried und Palas stammen aus dem Hochmittelalter. Der schiffbugartige Gebäudetrakt nach Norden hin entstand erst im 15. Jahrhundert. Weitere Erneuerungen müssen hundert Jahre vorher stattgefunden haben. Das Wirtschaftsgebäude stammt zum größten Teil aus dem 17. Jahrhundert.

Dekorative Malereien im Wohnraum und im Turm entstanden zur selben Zeit wie der Erkerbau, dessen Fensterkreuz gotischer Art ist. In der Täfelung dieses Raumes ist oberhalb einer Tür die Jahreszahl 1613 eingeritzt.