Il piccolo edificio che si trova ancora all'ingresso del nuovo condominio è la "caravilla" di Annibal Caro, come ricorda la lapide murata, che entro le sue modeste facciate contiene poche stanze su due piani. L'altro edificio, la villa, quella nominata nelle cronache e riprodotta nelle stampe e nelle foto prima della sua distruzione, ubicata nell'angolo nord - ovest della vasta area, ha avuto inizio intorno al 1580, per volere del proprietario di allora, il Cardinale Tolomeo Galli. Di questo primo nucleo si ha notizia solo attraverso una pianta che si trova nell'Archivio di Stato di Firenze: si tratta di una costruzione a perimetro rettangolare nella quale uno spazio quadrato d'angolo costituisce apparentemente un cortile da cui si accede all'edificio principale e a locali, forse di servizio, contenuti in corpo laterale che forma una "L" con il primo. L'edificio principale contiene una sala centrale, d'ingresso, e più stanze intorno a questa; l'indicazione di due scale fa pensare a un secondo piano e forse a un piano sottostante, ma non altro possiamo immaginare riguardo all'impianto dell'edificio né al suo aspetto esterno. Anche dei successivi lavori di trasformazione operati dai nuovi proprietari, i Borghese, si hanno scarse notizie. Si tratta certamente di importanti interventi - eseguiti contemporaneamente alle grandiose opere nel giardino - che modificano totalmente le strutture dell'edificio. Le numerose stampe dell'epoca ce ne mostrano l'aspetto esterno; l'edificio a pianta quadrangolare, di tre piani, ha la parte centrale del prospetto principale rivolto a nord più alta, distinta dalle parti laterali da due lesene bugnate e arricchita da due ordini di tre arcate. Avanti all'ingresso è un grande terrazzamento, che termina verso valle con un alto basamento sagomato, al centro del quale è collocata la fontana a quattro tazze detta "del candeliere", l'uno e l'altra opera di Flaminio Ponzio, ancora oggi esistenti. Le successive trasformazioni dovute ai Ludovisi ampliano ancora e abbelliscono la villa che così assume presumibilmente la consistenza e l'aspetto che conservava ancora prima della distruzione. L'edificio si arricchisce di due ali posteriori laterali mentre la facciata volta a est accoglie nella parte centrale, leggermente rientrante, un secondo ingresso a quota superiore. La facciata a nord non appare modificata: le foto della fine dell'Ottocento mostrano infatti un prospetto del tutto simile a quello delle più antiche stampe. La struttura determina internamente numerosi ambienti e ampi saloni che nel tempo si erano arricchiti di pregevoli decorazioni e pitture - e fra queste al piano nobile gli stemmi dei Ludovisi - purtroppo anch'esse andate inevitabilmente perdute. Al piano nobile nel salone principale risulta un "Trionfo di Bacco" e in una stanza adiacente "La Forza che corona la Mansuetudine" di Maffeo Mucci, eseguita nel 1732, mentre nella volta di altre due sale, grottesche della scuola degli Zuccari.