Le manoir de Quélern est édifié au nord de la commune, à proximité des fortifications du même nom. Un premier corps de logis est construit au 16e siècle, augmenté, à la fin du 18e siècle ou au début du 19e siècle, d'un second bâtiment figuré sur le cadastre de 1830. Il semble que cette nouvelle construction corresponde à un projet inachevé ; en témoignent les portes percées sur le pignon qui devaient communiquer avec le logis initial dont on prévoyait la surélévation. Un troisième bâtiment était construit en retour d'équerre au sud-ouest, figuré sur le cadastre ancien et dont les traces d'arrachement sont visibles en façade. A la place, on a construit une dépendance. Les portes charretière et piétonne qui ouvraient sur la cour ont été détruites peu avant 1939. Démembrée de la seigneurie de Crozon, la seigneurie de Quélern passe par alliance, dans la seconde moitié du 16e siècle, à la maison du Chastel (qui possède la seigneurie du Poulmic). Elle devient ensuite la possession de la famille Goulhezre puis, par alliance, de la famille Le Gentil de Quélern. Le manoir appartient à la fin du 18e siècle et jusqu'en 1843 à Emmanuel-Jean l'Evangéliste Le Gentil, officier du Génie. Restauré à la fin des années 1980, le bâtiment est aujourd'hui désaffecté et envahi par la végétation. L'aile construite au sud-ouest est en ruines.