La presqu'île de Kerfrézec a été le lieu d'implantation d'une villa gallo-romaine (à proximité du château actuel) fouillée au 19e siècle par M. de Keridec, propriétaire du château. Les vestiges en ont disparu depuis une trentaine d'années. Le lieu noble de Kerfrézec semble attesté au 16e siècle bien qu'il ne soit pas cité dans la réformation de 1536 de Plouhinec (non plus qu'auparavant) : quelques ouvertures de cette époque ont été remployées dans les dépendances et la ferme. Cependant, F. Le Tallec mentionne d'après archives conservées aux AD 44 dans la série B "la terre et la seigneurie de Kerfrézec possédée en 1521 par Louis de la Forêt, en 1637 par Pierre Desmourier écuyer, par R. Douville en 1653, puis par la veuve de René Barbe en 1704" . Le château actuel est réputé être l'oeuvre de ce dernier, marchand de Port-Louis et fermier général du domaine de la couronne, qui l'acquiert auprès de la famille Desmourier vers la fin du 17e siècle. Cependant, le château est acquis par la famille de Langle en 1725 et c'est plutôt à cette époque que la partie centrale du logis semble remonter. Une travée à toiture indépendante est ajoutée à chaque extrémité dans la 2e moitié du 18e siècle, d'après la forme des ouvertures, toujours à l'initiative de la famille de Langle. Le château subit un remaniement complet au milieu du 19e siècle avec l'adjonction de deux pavillons à étage d'attique, la reprise de l'escalier et des décors intérieurs, l'adjonction d'un balcon surmontant la porte d'entrée. Les écuries qui ont remplacé un bâtiment figurant sur le plan cadastral de 1836 semblent contemporaines de ces modifications. La ferme au sud porte le chronogramme de 1846, peut-être une indication sur la date des changements et adjonctions apportés au château. Les communs également au sud ont été reconstruits à la fin du 19e siècle, peut-être en 1899, date portée sur une porte dans la cour de ces communs. De nombreuses reprises ont affecté les ouvertures des bâtiments de ferme au milieu du 20e siècle. La chapelle qui était contemporaine des communs (fin 19e siècle) est en ruines depuis la tempête de 1987. Quant au moulin à marée attesté, il ne figure pas sur le plan cadastral de 1837.