Un château classique perché sur un éperon rocheux; c'est à l'origine une forteresse médiévale construite à l'emplacement d'un camp romain.

Au 12ème siècle, par une alliance, la forteresse appartient à la famille de Born représentée par deux frères ennemis, Constantin et le célèbre troubadour Bertran de Born.

Au 15ème siècle, le château passe à une branche de la famille de Gontaut, qui prend le nom et les armes de Hautefort.

Changement d’époque et évolutions des modes, la forteresse se transforme progressivement en demeure de plaisance.  Le château connaît sa période la plus fastueuse au 17ème siècle.

François de Hautefort et son petit-fils Jacques-François travailleront et le château abandonne alors progressivement ses fonctions défensives pour devenir un château «à la moderne ».

Pendant la Révolution, le château utilisé comme « prison pour suspects » de 1793 à 1795, est sauvé de toute destruction.  La famille demeure propriétaire des lieux jusqu’à la fin du 19ème siècle.

La veuve du dernier propriétaire descendant de la famille de Hautefort vend le château en 1890 à un riche industriel, Bertrand Artigues; après son décès en 1908, le château connaît une période de déclin.

En 1929, un coup de foudre va sauver Hautefort, avec l’arrivée du Baron Henry de Bastard et de sa femme Simone.  Fascinés par les lieux, ils redonnent vie à la demeure et à ses jardins.