Le voyageur qui s'approche de la ville de Cadillac découvre le château des ducs d'Épernon dominant de sa masse imposante la bastide médiévale. Il ne voit cependant que les grandioses vestiges d'une demeure aristocratique mutilée pendant les trois derniers siècles. Une fois franchie l'ancienne conciergerie de la prison, il remarque la qualité architecturale du logis principal avant de pénétrer dans les anciens appartements d'apparat et d'y admirer les cheminées monumentales. Ces dernières témoignent de la puissance, de la gloire et de la richesse du « demi-roi » et « mignon » de Henri III, Jean-Louis de Nogaret de La Valette.
Le décor subsistant des grands appartements rappelle à la fois l'ascension fulgurante du Gascon, son amitié avec le dernier Valois et la mémoire de la duchesse morte jeune. Pratiquement achevée en 1661, la demeure ne put bénéficier de l'attention des héritiers indirects de la famille et subit alors les outrages du temps.
Sa préservation résulta de son achat par l'État et de sa transformation en prison pour femmes puis en maison de correction pour jeunes filles. Les aménagements carcéraux puis l'incendie de 1928 provoquèrent la disparition de nombreux témoignages de fastes révolus alors qu'une prise de conscience sur la valeur et l'intérêt historique de ce monument se faisait jour. En 1952, la fin de l'occupation pénitentiaire favorisa la renaissance du château ducal qui bénéficie depuis de l'attention et des restaurations du service des monuments historiques et du Centre des monuments nationaux.