Dans la seconde moitié du IXe siècle, l’autorité des souverains carolingiens s’affaiblit et le pouvoir passe aux mains de Grands, comme les Comtes de Poitiers (qui sont aussi ducs d’Aquitaine). Ceux-ci confiés à des vicomtes le soin de les représenter. C’est ainsi que l’actuelle territoire de la Corrèze est divisé en plusieurs vicomtés : Turenne, Comborn et Ventadour.
Ebles choisit ce site élevé quoiqu’isolé pour installer le siège de son pouvoir. Il y édifie une première tour entre le milieu du XIe et le milieu du XIIe siècle. Un monastère est également installé à un kilomètre du site (bourg de Moustier-Ventadour). Au XIIIe siècle, le château connaît d’importants aménagements : construction de la courtine, de la tour « Saint-Georges », de la barbacane et de la souricière.
Durant la guerre de Cent ans, le château est occupé par une troupe de routiers commandée par Geoffroy Tête Noire (1379). Pendant une dizaine d’années, ils font de Ventadour leur base, pillant et rançonnant la région. En 1388, des troupes commandées par le duc de Berry mettent le siège et tuent Geoffroy d’un carreau d’arbalète. Il lègue alors le château à ses neveux et aurait également demandé à être enterré dans la chapelle. Le château est finalement repris par les Français après deux ans de siège.
La première moitié du XVe siècle est marquée par le retour des vicomtes et de nouveaux aménagements : édification du logis seigneurial, du donjon et d’une nouvelle chapelle.
En 1500, la seigneurie échoit par mariage de la dernière héritière à la famille des Lévis de Mirepoix qui porte désormais le nom de Lévis-Ventadour (leur château en Ardèche porte également le nom de Ventadour). A la fin du XVIIIe siècle, alors que se profile la Révolution, le site est à l’abandon et en mauvais état. Vendu à un démolisseur en 1800, il sert de carrière de pierres ; une porte est percée dans le rempart et un chemin aménagé pour faciliter le transport des pierres.
Classé Monuments Historiques en 1840, il est racheté en 1895 par les descendants des Lévis. Les premières fouilles archéologiques et les premières restaurations sont menées dans les années 1960. En 1988, la famille remet contre un franc symbolique le château à la commune de Moustier-Ventadour qui en confie la restauration et la gestion à la communauté de communes de Ventadour. La dévégétalisation et la restauration, accompagnées de fouilles archéologiques, sont menées entre 1999 et 2013.
