Die Schloss Carrarese ist eines der bedeutendsten Bauwerke von Padua, sowohl in geschichtlicher, architektonischer, künstlerischer als auch in militärischer Hinsicht. Sie befindet sich in dem gleichen Gebiet, in dem einst Ezzelino III. da Romano, unter dessen Tyrannei die Stadt von 1237 bis 1256 litt, eine Festung zur Verteidung der Stadtmauer aus dem 13. Jahrhundert erbauen ließ. Als erstes fällt der Blick des Betrachters auf den Torlonga, den höheren der beiden Türme der alten Burg. Nach dem Sturz des Tyrannen wurden die Festungen aufgegeben, bis die Stadtherren Da Carrara die Burg wiederaufbauen und die beiden Türme im rot-weißen Schachbrettmuster anmalen ließen. So wurden sie auch von Giusto de‘ Menabuoi 1382 in seiner Stadtansicht dargestellt, einem Fresko, das in der Kapelle des seligen Lukas Belludi in der Basilika Hl. Antonius zu sehen ist. Die ganze Burg war innen und außen mit Malereien geschmückt, und bei den im Observatorium während der letzten zehn Jahre durchgeführten Instandsetzungsarbeiten traten in den versteckten Ecken der Sternwarte, die auf der Burg errichtet worden war, deutliche Farbspuren in kräftigem Rot und Weiß zutage. Der „Traghetto“, ein erhöhter Wehrgang in Arkadenform, verband das Schloss mit der Reggia Carrarese und hatte die Funktion, die Zentren der politischen und militärischen Macht zu vereinen. Infolge der während der Renaissance errichteten Stadtmauern und der langen Friedenszeit unter der Herrschaft der Republik Venedig entfiel der strategische Bestimmungszweck der „Castel Vecchio di Padova“, wie die Burg im 18. Jahrhundert genannt wurde. Die Republik Venedig liebäugelte mit dem Projekt einer neuen Burg im östlichen Bereich der Stadtmauern, aber an diesen Plan erinnern heute nur noch einige Basteien.
Das Baujahr und die Urheberschaft der neuen Burg aus dem 14. Jahrhundert fanden die erste unmittelbare Bestätigung, als um das Jahr 1810 ein Brunnen in einem großen Innenhof des Gebäudeteils gefunden wurde, der Anfang des 19. Jahrhunderts in ein Gefängnis umgebaut wurde. In einen der Steine dieses Brunnens war folgende Inschrift eingemeißelt: 12. Juni 1374 Der hochwohlgeborene Francesco, Siebter der Familie Carrara, Prinzen von Padua, Erbauer dieses Bauwerks. Im Jahr 1990 wurde im ersten Stock, in einem Raum der Sternwarte aus dem 18. Jahrhundert ein zweiter Hinweis auf den berühmten Prinzen gefunden: Unter dem Putz aus dem 18. Jahrhundert erschienen die Spuren eines florealen Dekors mit den Initialen FC, also Francesco Da Carrara. Die noch erhaltenen Teile des Schlosses wurden später in unterschiedlicher Weise genutzt (Observatorium, Gefängnis usw.). Die Strafanstalt im Schloss bestand sogar bis zum Zweiten Weltkrieg, und die Gefängnisverwaltung hat heute noch einige Büros in der Piazza Castello. Die Umwandlung des Bauwerks in eine Sternwarte zwang den Architekten Cerato, die Gebäudebereiche, die in seinen Zeichnungen als „eingestürzte Bauten“ bezeichnet waren, wiederaufzubauen; in der neuen Sternwarte wurden alle Wände verputzt und dabei verschwanden die Spuren der früheren Dekorationen. Auch die antike Treppe, die vom Erdgeschoss über eine Loggia zum Turm und zu den westlichen Mauern des Schlosses führte, wurde aufgrund der baulichen Erfordernisse teilweise verändert, wobei aber der Verlauf und die Stützpfeiler der Loggia erhalten blieben.