La cité de La Ferté-Vidame, située aux confins du Perche et de la Normandie est apparue à l’époque gauloise. Le premier château dont il est fait mention date de 985. Château de plaine, entouré de douves, il fut édifié pour se protéger de l’invasion des Vikings.
Le nom de La Ferté-Vidame vient du latin ferteia, firmitas ou encore firtitas qui signifie lieu fortifié. Le terme Vidame correspond, en latin, à Vice Dominus c’est-à-dire Vice-Seigneur. Le Vidame avait pour mission de protéger les terres de l’évêque qui, à défaut de pouvoir porter les armes, s’entourait des services d’un seigneur. Les familles de Vendôme et de Ferrière tout comme les Saint Simon et De Laborde porteront le titre de Vidame auprès de l’évêque de Chartres.
Au XVIème siècle, durant les guerres de religion, la cité se transforme en fief protestant. Le château devient propriété de Préjean de Lafin, descendant de la famille de Ferrières. L’église du village devient un temple protestant, les habitants épousent la religion réformée. Il existe notamment dans l’enceinte du parc, une parcelle de terre nommée cimetière des Huguenots.
Au XVIIème siècle, et plus particulièrement en 1632, le château est acheté par Claude de Rouvroy de Ruffec, duc de Saint-Simon. Claude de Saint-Simon, Pair de France, est l’un des intimes de Louis XIII. On lui doit la construction en 1659 de l’église Saint-Nicolas, aujourd’hui classée Monument Historique. Cet édifice baroque, exceptionnel par sa rareté en Eure-et-Loir abrite le caveau de son fils, Louis de Rouvroy, duc de Saint-Simon, célèbre mémorialiste qui deviendra propriétaire du château à la mort de son père.
En 1755, sa petite fille Charlotte, duchesse de Valentinois et comtesse de Grimaldi, hérite du domaine. Elle le garde à peine 10 ans et le revend en 1764 à Jean-Joseph de Laborde, banquier de la cour.
Le marquis de Laborde fait abattre le château ducal d’époque médiévale et fait construire par l’architecte rouennais Antoine Mathieu Le Carpentier, un château de style classique de 150 mètres de façade. Le Carpentier redessine le parc dont la superficie passe à 860 hectares. Le marquis de Laborde s’intéresse à l’urbanisme de La Ferté-Vidame et donne à la ville un ordonnancement orthogonal. On lui doit l’ouverture de la grande rue centrale et des rues adjacentes, les allées de tilleuls ainsi que la construction des halles. En 1784, à la demande de Louis XVI, le marquis de Laborde doit se séparer de son château au profit du duc de Bourbon Penthièvre.
Après la révolution, en 1793, Jean Cardot Villiers, promoteur immobilier peu scrupuleux, entreprend le démantèlement du château. Il faut attendre la monarchie de juillet et l’avènement de Louis-Philippe sur le trône de France pour que l’on s’intéresse à nouveau au domaine fertois. Louis-Philippe devient propriétaire des lieux. Il entreprend l’agrandissement des communs du château et en fait un lieu de résidence. Poursuivant l’œuvre du marquis de Laborde, il fait construire plusieurs hôtels particuliers dans le centre du village et envisage la restauration du château. Malheureusement, la révolution de 1848 mettra un terme à ses projets. Louis-Philippe quitte la France pour l’Angleterre où il meurt deux ans plus tard.
De nouveau le château est revendu comme bien national. En 1872 il devient la propriété du Baron Léon de Dorlodot qui revend le domaine 9 ans plus tard à l’un de ses amis, Charles Laurent, doyen des agents de change à Paris. La famille Laurent revend le domaine dans les années 1920 à Christian Vieljeux. En 1936, ce dernier revend la quasi-totalité du parc à la société Citroën qui transforme le site en centre d’essai automobile.
En 1946, les communs du château sont transformés en centre de réinsertion pour détenues de droit commun. En 1991, le Conseil Départemental d’Eure-et-Loir devient propriétaire du site et nourrit aujourd’hui un vaste projet de réhabilitation.