L'attuale villa pontificia, che ha una estensione di circa 70 ettari, è il risultato dell'unione di tre diverse proprietà: al primitivo nucleo infatti, costituito dal palazzo apostolico e dal piccolo giardino annesso, si unì nel 1773 la villa Cybo, e nel 1929 in seguito al Trattato Lateranense la villa Barberini sorta sui grandiosi resti della villa di Domiziano. Nel 1596 furono venduti all'asta i beni dei Savelli, tra cui anche Castel Gandolfo che fu acquistato dalla Camera Apostolica per 24000 scudi, e nel 1604 con un decreto concistoriale di Clemente VIII (1592-1605) incorporato nei domìni temporali della Santa Sede. Il Piazza scrive a proposito della "villa de' Sommi Pontefici" che "Paolo V fu il primo, che allettato dall'amenità ammirabile sopra ogni altra del Lazio, dal sito, e dalla vicinanza di Roma, e dalle delizie del lago, e dalla salubrità dell'aria v'incominciasse a gettare fondamenti per abitazione Pontificia, la quale avrebbe tirata a compimento, se o la distrazione della sontuosissima fabbrica Mondragone, degna della Pontifizia maestà; o la morte sopraggiunta troncati non gli havesse i dissegni magnanimi". In realtà si ha oggi conoscenza soltanto di un'opera attuata da Paolo V in Castel Gandolfo, e cioè dell'acqua che egli vi fece condurre da Palazzolo, come ricorda l'iscrizione collocata in alto a destra sulla facciata principale dalla dimora apostolica.

     Chi realizzò invece a Castel Gandolfo la residenza per la villeggiatura dei papi fu Urbano VIII, che, non ancora papa, vi aveva trascorso periodi di riposo in un casino di proprietà situato come scrive il Bonomelli sul piano superiore del torrione che ancora domina la porta romana; di questa sua delizia campestre, il cardinale Maffeo Barberini ricorda i pregi in alcuni versi indirizzati al prelato Lorenzo Magalotti, fratello di sua cognata. Salito al soglio pontificio nel 1623, Urbano VIII diede subito inizio ai lavori di costruzione della villa, scegliendo per edificarla il sito dell'antichissima acropoli di Alba Longa, su cui i Gandulphi avevano costruito la loro rocca, occupata in seguito dai Savelli. Si affidò l'incarico di costruire il palazzo all'architetto Carlo Maderno che fu coadiuvato da Bartolomeo Breccioli e Domenico Castelli. L'intento era quello di includere l'antica rocca nella nuova costruzione; si innalzò dunque l'ala del palazzo prospiciente il lago in maniera che si legasse ad angolo retto con il corpo delle fabbriche già esistenti verso l'attuale piazza, dove si aprì il portale e lo scalone. Il terzo lato che doveva chiudere la corte dinnanzi la rocca - anch'essa dotata di una corte, ma di piccole dimensioni sarà costruito insieme alla facciata da Alessandro VII. A nord-ovest del nuovo complesso, in un terreno che scende verso la strada di Marino, si impiantò il giardino, in cui è conservata ancora l'antica spartizione a riquadri, che fu circondato "di alte mura a guisa di rocca".

     Il portale di cui fu dotata la recinzione, demolito nel 1933 per la costruzione di una nuova strada di accesso al palazzo, era costruito su disegno del Bernini nel 1637, poiché è del 20 maggio di quell'anno, un documento relativo al pagamento di 190 scudi allo scalpellino Gregorio Fontana, per il lavoro di peperino da lui fatto nel nuovo giardino di Castel Gandolfo. Oltre che della costruzione del palazzo, Urbano VIII si preoccupò anche di rendere più comodo e piacevole il soggiorno, aumentando il flusso dell'acqua da Palazzolo, aprendo due strade verso Albano, comprendenti a monte e a valle l'abitato di Castel Gandolfo, cui venne dato rispettivamente il nome di "galleria di sopra" e "galleria di sotto" perché fiancheggiate da grossi lecci congiungenti i rami a mo' di volta. Per celebrare l'opera compiuta da questo papa fu coniata una medaglia con la raffigurazione del palazzo e con l'iscrizione SUBURBANO RECESSU. Si ha memoria degli stessi lavori anche da un'altra iscrizione, oggi collocata sulla facciata del palazzo apostolico, in alto a sinistra, datata 1629. Urbano VIII, pur avendo realizzato questo complesso, non vi abitò mai, preferendo villeggiare nella vicina villa della sua famiglia, la cui storia spesso è confusa dagli scrittori dell'Ottocento, proprio perché formatasi contemporaneamente al palazzo pontificio e sotto l'egida del medesimo pontefice, con la storia del palazzo stesso.

     Alessandro VII (1655-1667), che fu il primo pontefice ad abitare il palazzo, riprese l'opera di Urbano VIII, completando l'edificio con la costruzione della facciata principale e del braccio ovest, comprendente la galleria verso il mare, costruita con l'intervento del Bernini. In seguito per un lungo periodo i papi non si recarono a Castel Gandolfo, infatti soltanto con Benedetto XIV il palazzo tornò ad essere frequentato e quindi restaurato e arricchito di nuovi ornamenti. Nel 1747 fu decorata la galleria con pitture di Pier Leone Ghezzi rappresentanti vedute dei colli Albani con scene di vita campestre; ed inoltre la stanza contigua fu "ridotta vagamente alla cinese"; nel 1749 si costruì la loggia delle benedizioni e due sale adiacenti. A Clemente XIV (1769-1774) si devono interventi di restauro del palazzo e la decorazione pittorica di alcune sale vicine alla galleria, in una delle quali furono dipinte delle scene relative ad opere compiute dallo stesso dopo la sua elevazione al soglio pontificio; ma soprattutto al suo nome è legato l'acquisto della villa Cybo effettuato nel 1773, con il cui parco si ampliò il breve spazio privato a disposizione dei pontefici, costituito fino ad allora dal giardino di Urbano VIII. Alla fine del XVIII secolo le truppe francesi occuparono il palazzo danneggiandolo gravemente; lavori di restauro furono in seguito condotti da Pio VII, che provvide anche ad un nuovo arredamento, e quindi da Pio VII che fece ripristinare anche i condotti delle acque e il giardino, pur non consentendogli il suo breve pontificato di poter usufruire delle delizie di Castel Gandolfo. Un assiduo frequentatore della villa fu Gregorio XVI che vi arrecò anche dei miglioramenti. Pio IX fu l'ultimo pontefice ad abitarvi nel secolo scorso, infatti dopo gli avvenimenti del 1870 e fino all'epoca del Trattato Lateranense, essa restò abbandonata. Subito dopo questa data, sotto Pio XI il palazzo e i giardini subirono consistenti modifiche per la reintegrazione nel loro antico ruolo. Con lo stesso trattato la Santa Sede entrava in proprietà della vicina villa Barberini. La vasta chiusa della villa Barberini è compresa a monte e a valle, dalla "galleria di sopra" e dalla "galleria di sotto", mentre a sud-est segue per un tratto il confine tra i comuni di Albano e Castel Gandolfo, e comunica sul rimanente lato a ovest per mezzo di un cavalcavia - costruito dopo i Patti Lateranensi - con i giardini della villa Cybo.

     Eccezionale è il tessuto archeologico su cui venne a stabilirsi la villa, costituito dall'imponente complesso, distribuito su tre terrazzamenti, della villa di Domiziano. Di essa il palazzo e i giardini Barberini vennero ad occupare il secondo ripiano, sostenuto dal grandioso criptoportico ancora percorribile. Dopo l'elezione al soglio pontificio di Urbano VIII, il nipote Taddeo Barberini nel settembre del 1628, acquistava una parte della zona indicata, e venne poi ampliando la sua proprietà con l'annessione di aree adiacenti fino ad arrivare al 1631, anno in cui acquistò la vigna di monsignor Scipione Visconti dotata di un casino prospiciente il lago, situata verso il palazzo pontificio, in un luogo detto Mompecchio. Qui, demolendo in parte la costruzione già esistente - di essa venne conservata la parte verso il mare -, Taddeo Barberini fece innalzare il suo palazzo. All'ottobre del 1635 è datato il primo inventario di mobili inviati alla villa, pertanto a quella data i lavori di costruzione dovevano essere ultimati. Il palazzo isolato dal giardino e ad un livello superiore, fu collegato ad esso tramite il viale detto "la catena", e il ripiano sovrastante il criptoportico fu lastricato e cintato a valle da una balaustrata. A proposito della sistemazione del giardino in un documento del 1667 pubblicato dal Banfi si legge che "...contiene in sé spatiosi viali e belle et alte spalliere, che perciò il regnante Pontefice spesso vi scende a far esercito. Ha anco una loggia scoperta assai lunga, con parapetto di balaustri di peperino, di dove si vede in bella prospettiva una vasta campagna et un lungo tratto della marina. Ma quello che qui si vede più riguardevole, è una muraglia antica di un quarto di miglio, sopra la quale sono nati alberi, che sporgendo maravigliosamente in fuori, formano sopra quel viale una spalliera, che difende dal sole; curiosità certamente stupenda". Il giardino moderno, realizzato dopo il 1929, si sviluppa anche nel ripiano antistante il criptoportico con eleganti viali cinti da siepi e ornati da statue e fontane. La villa è indicata nella pianta del Catasto Gregoriano del 1819, nella Topografia di una porzione delle Comuni di Albano e Castel Gandolfo e in un disegno dal titolo La villa Barberini a Castel Gandolfo; in quest'ultimo compare il giardino spartito a riquadri. Interessanti per il rapporto tra la villa e l'antico complesso domizianeo è la pianta di Pietro Rosa, Tavola ottava della via Appia: Boville-Albano del 1853-54.