Nel 1563 l'Abbazia di Grottaferrata cede ad Annibal Caro un piccolo podere alle porte di Frascati, riservandosi un canone annuo di quattro scudi. Il Caro vi costruisce una "villetta", come lui stesso la definisce, che chiamava "caravilla", dove ama ritirarsi per studiare e scrivere. Proprio lì, nei pochi anni che gli restano, porta a termine la nota traduzione dell'Eneide. Infatti muore nel 1566 e i suoi eredi nel 1571 vendono la proprietà alla famiglia Cenci che a sua volta la cede, intorno al 1579, al Cardinale Tolomeo Galli segretario di Stato di Papa Gregorio XIII. Questi la ingrandisce acquistando terreni adiacenti e costruisce un nuovo edificio, probabilmente il primo nucleo di quella che sarà la grande villa degli anni successivi. Gli eredi, nel 1607, vendono la proprietà al Cardinale Scipione Borghese, sostenuto, come negli altri acquisti dallo zio Paolo V, che ha in animo di soggiornarvi lui stesso nei periodi estivi. Per suo volere in quel periodo vengono eseguiti molti e importanti lavori sia nella villa, sia soprattutto nel giardino. A tre noti architetti, Giovanni Fontana, Flaminio Ponzio e Carlo Maderno, viene affidato l'incarico di occuparsi della realizzazione delle nuove fontane e dell'acquedotto necessario alla loro alimentazione. Sorgono così il grandioso teatro delle acque a monte della villa, la peschiera al di sopra delle cascate e la fontana "del candeliere", collocata nel piazzale belvedere realizzato contemporaneamente. Ma dopo tanti e così importanti lavori il cardinale Scipione, nel 1614, decide di vendere la villa. Il motivo è noto: il Cardinale acquista nello stesso periodo la Villa Taverna che confina con le altre sue proprietà, la Villa Angelina e quella di Mondragone, nella quale sono in fase di ultimazione dei lavori; le tre ville costituiranno, secondo l'aspirazione dei Borghese, un'unica magnifica proprietà. Acquista la villa il Duca di Gallese Giovan Angelo Altemps, il figlio del quale, Pietro la rivende nel 1621 al Cardinale Ludovico Ludovisi, appena salito al Soglio pontificio con il nome di Gregorio XV. La villa prende allora il nome di Ludovisia dai nuovi proprietari, i quali apportano così grandiose trasformazioni che più cronisti in seguito attribuiranno ai Ludovisi la costruzione dell'intera villa; provvedono anche ad affrancare quella parte di terreno che era ancora di proprietà dell'Abbazia di Grottaferrata. Lo stesso Gregorio XV soggiorna spesso nella bella dimora dove, si dice, abbia tenuto anche un concistoro. Dopo i Ludovisi, nel corso di circa venti anni, dal 1661 al 1680, la villa passa in proprietà, prima per vendita e in seguito per successioni e donazioni, ai Colonna e poi ai Conti che la detengono fino al 1820 circa, per poi pervenire agli Sforza Cesarini e infine ai Torlonia che ne divengono proprietari nel 1841. L'edificio, gravemente danneggiato dai bombardamenti dell'ultima guerra, è stato sostituito da una moderna costruzione che conserva le opere architettoniche. Dal 1945 è parco pubblico.