La prima baronia dei Collalto risale al 1300, quando apparteneva alla Curia Pontificia, poi fu dei Mareri che tennero fino al XV secolo, quando Federico I d'Aragona la trasferì d'autorità alla famiglia Savelli (1499). Sommerso dai debiti, Cristoforo Savelli, nel 1564, fu costretto a vendere la baronia al suocero Roberto Strozzi che, nel 1568, la rIvendette a Alfonso Soderini. Si deve a quest'ultimo la imponente ristrutturazione del castello, che lo avrebbe reso impenetrabile anche dagli attacchi con il nuovo sistema d'arma che era l'artiglieria. Nel 1641 anche i Soderini si trovarono a corto di fondi e furono così costretti a  mettere il castello all'asta. Per la somma di 102,000 scudi la proprietà fu rilevata dal Cardinale Francesco Barberini, nipote del papa Urbano VIII. Il cardinale vi profuse enormi investimenti, per un restauro generale seguito da pregiate decorazioni, arredi di lusso ed opere d'arte. Sfortunatamente il castello venne requisito e saccheggiato dalle truppe napoleoniche negli anni 1798-99. Tornato in possesso dei Barberini, questi decisero di venderlo al conte polacco Corvin Prendowniski, sposato alla marchesa Cavalletti. Alla morte del conte la proprietà passo al cognato Giovanni, il quale non avendo eredi, la lasciò all'ufficiale dei carabinieri Signor Giorgi, con un contratto di vitalizio. Il carabiniere trovatosi miracolosamente castellano sposò l'ereditiera americana della famiglia Manfort. Il castello è così divenuto Giorgi-Manfort fino alla data odierna. L'ultimo castellano, Piero Monfort è nel 1988, quando il castello è stato rilevato dalla SpA Quattrostelle di Roma che lo a convertito in un esclusivo museo.