L'origine du Château remonte au Xe siècle et à l'évêque d'Auxerre, Héribert, frère de Hugues Capet.
Reconstruit, agrandi, embelli par ses propriétaires successifs dont les plus célèbres furent Jacques Coeur et Mademoiselle de Montpensier, la Grande Mademoiselle, il se présente comme un majestueux pentagone de briques roses, aux tours d'angle couronnées de campaniles, avec une merveilleuse cour intérieure construite par Le Vau et un superbe parc anglais.
Le château de Saint-Fargeau, qui fut le berceau de la famille maternelle de l'académicien Jean d'Ormesson, est largement évoqué dans le roman de ce dernier, Au Plaisir de Dieu, et a servi de cadre au tournage du feuilleton télévisé tiré de cette oeuvre.
Voir également, à quelques centaines de mètres : Ferme Saint Fargeau.