In de 12e eeuw werd dit kasteel op het spel gezet mede door rivaliteiten tussen de troubadour Bertran de Born en zijn broer Constantin rondom de opvolging van Henri II, koning van Engeland.
In de 15e eeuw kwam het fort in handen van de familie De Gontaut. Zij werden de Heren van Hautefort.
Onder invloed van de veranderende mode is het kasteel geleidelijk uitgegroeid tot een vrije tijds verblijf voor de eigenaren geworden. Het kasteel maakte in de 17e eeuw een ontwikkeling door.
François de Hautefort en zijn kleinzoon Jacques-François maakten er een 'modern' kasteel van. Alle defensiewerken van het kasteel werden gesloopt en de twee vleugels met ronde torens werden aangebouwd.
Tijdens de Franse revolutie is het kasteel gebruikt als "gevangenis" en is daarom gespaard gebleven. Het kasteel bleef eigendom van deze familie tot het einde van de 19e eeuw. In 1890 heeft de weduwe van de laatste Hautefort het kasteel verkocht aan Bertrand Artigues. Omdat hij geen erfgenamen had raakte het kasteel na zijn dood in verval en viel het ten prooi aan plunderaars.
In 1929 kwam voor het kasteel de redding in de persoon van Baron Henry de Bastard en zijn vrouw Simone. Zij restaureerden de gebouwen en de tuinen en brachten het kasteel weer tot leven.