Nel secolo XIII il Castrum divenne uno dei tanti feudi dei Colonna, e a partire da allora, a causa dei continui cambiamenti di proprietà, nominato in documenti e Bolle papali. In una Bolla di Alessandro III del 1255 vennero assegnate al Castello di Nemi quattro chiese: Santa Maria, Sant'Angelo, San Gennaro e San Nicola in valle Lunae. Bonifacio VIII nel 1297 incamerò il Castello per darlo agli Orsini. Tornò di nuovo ai Colonna, fino a quando Clemente VII, antipapa, glielo tolse per assegnarlo nuovamente in enfiteusi alla famiglia Orsini. Il dominio degli Orsini è molto breve in quanto ritorna sotto il controllo della Chiesa nel 1379. Nel 1400 Bonifacio IX, lo assegnò a Tebaldo Annibaldi, ma l'Abbazia delle Tre Fontane ne reclamò la proprietà e nel 1423 lo concesse in affitto a Giordano Colonna, fratello di Martino V. Più tardi nel 1428, Prospero ed Edoardo Colonna lo comprarono definitivamente.
In alcune storie di Nemi si fa cenno alla famiglia Capicuzzi come proprietaria del Castello nel XV, ma non vi è nessun documento che ne accerti il possesso, risulta invece una cessione del Castello al Cardinale Estouteville da parte di Lorenzo Colonna. Nel 1501 Alessandro VI lo concede a Rodrigo Borgia, figlio di Lucrezia e di Alfonso di Bisceglie, ma due anni dopo, alla morte del Papa, la famiglia dei Colonna recupera il controllo del Castello. Al controllo dell'insediamento si succedono quindi i Cesarini (1550), i Piccolomini (1560), i Cenci (1563), i Frangipane (1572), ed infine i Braschi (1782), che ne mantengono il controllo per circa un secolo quando torna in possesso degli Orsini (1860). Con l'unità d'Italia l'insediamento si costituisce in Comune, e tuttavia il Castello e le proprietà contigue vengono acquistate all'inizio del '900 dalla famiglia dei Ruspoli, i quali portano a termine, oltre che alcuni interventi di ristrutturazione dell'antico manufatto edilizio, altri di riorganizzazione delle infrastrutture interne al tessuto urbano del nucleo storico dell'insediamento.