Il ne reste qu’une partie des bâtiments, tours et remparts.
Fondé vers 1023 par Avesgaud, évêque du Mans et fils du comte du Perche, le château de La Ferté-Bernard a subi bien des avaries au fil du temps. Forteresse d'abord construite de terre et de bois, le château est ensuite reconstruit en pierre avant d'être en grande partie détruit sur les ordres de Charles VI suite à la trahison de son seigneur Pierre de Craon en 1392. Aujourd'hui, il reste 2 tours, des murs et une partie du logis très remanié au fil des siècles et dorénavant divisé en appartements privés. Le jardin est accessible lors des Journées Européennes du Patrimoine.