Fages est un château qui fut épargné par la révolution mais pas par le vandalisme du XXème siècle, qui lui fut fatal. En 1913, Valentine de Maillard-Taillefer, héritière de Fages, et son mari veulent redonner vie au château délaissé par ses précédents propriétaires, mais possédant encore toutes ses toitures, ses boiseries et ses plafonds à la Française. Malheureusement, le couple meurt en voyage de noces dans le naufrage du paquebot « l’Afrique ». Après ce tragique destin, le château est abandonné, il sert de séchoir à tabac, puis d’usine d’équarrissage avec culture d’asticots. Les ossements entassés intéressent alors les sucreries Say pour faire du noir animal afin de blanchir le sucre … Le domaine est démantelé, le château est pillé et saccagé par les vandales jusqu’en 1964 où Louis Durand, architecte passionné de patrimoine, en fait l’acquisition pour le restaurer. Fages est sauvé in-extrémis de la ruine.
Les parties les plus anciennes encore visibles remontent au XIIIème siècle, cependant c’est l’aile Renaissance, d’époque Henri II, qui est la plus remarquable par sa magnifique architecture aux lignes pures et délicates, qui préfigure le classicisme du XVIIème siècle.
Boson de Fages, un des compagnons d’armes de Jeanne d’Arc naquit dans le château. Au XVIème siècle, pendant la période trouble des guerres de religion, la catholique Anne de Fages, dame d’honneur de la reine de Navarre, marqua l’histoire du château avec ses trois maris. En 1553 elle épousa en première noce Joachim de Monluc, frère de l’illustre Blaise de Monluc, qui réunit son état major chez sa belle-soeur à Fages à la veille de la bataille de Vergt où il défait les Huguenots. Veuve en 1567, elle se remarie trois ans plus tard avec Jean de Monlezun, qui fût l’un des exécuteurs de l’amiral de Coligny. En représailles de l’assassinat de Coligny, le château est attaqué et en parti détruit. A nouveau veuve, Anne de Fages pris pour troisième époux le protestant Jacques de la Tour afin de protéger Fages des attaques des huguenots, la région étant alors sous leur coupe. Anne de Fages meurt sans enfant en 1584. Le roman historique « La Dame de Fages », d’Alberte Sadouillet Perrin, retrace sa vie romanesque.