Elevée sur un site très escarpé, une motte castrale est transformée à la fin du Moyen Age en une bâtisse de plan rectangulaire, aujourd'hui très remaniée. Cet ancien manoir appartenait à la famille Chouan puis aux Lohier au 18e siècle. Le château actuel, aujourd'hui renové, est une construction du 19e siècle remployant une partie des bâtiments préexistants ; il fut élévé par Aldolphe Toulon, directeur de l'exploitation du four à chaux, en 1858, peu avant la rénovation de l'ancien logis. L'exploitation de la carrière par l'usine de chaux aux 19e et 20e siècles a fortement bouleversé les dispositions du lieu et a vraisemblablement entraîné la disparition d'une ferme à l'est des bâtiments principaux.