Le manoir est construit au milieu du 17e siècle. La tour de distribution en hors-oeuvre et la lucarne centrale à cavet surmontée au 19e siècle d'un pignon à crossettes ainsi que les baies de l'étage carré confirment cette datation. Le manoir figure sur les plans du port du 18e siècle et les anciens plans cadastraux de 1809 et 1844.

Des plans plus récents mentionnent un agrandissement sans doute opéré en 1911 d'après ceux dressés à cet effet par Joseph Caubert de Cléry pour monsieur Lafolye. C'est à cette époque que le manoir est agrandi au nord et pourvu de deux avancées polygonales. Des plans du manoir agrandi sont conservés dans le fonds de l'entreprise Groleau déposé aux Archives municipales de Vannes.

L'oculus et l'arc sur la porte d'entrée de la travée centrale ont été refaits au 19e siècle, de même que les ouvertures du rez-de-chaussée. Le manoir a été la propriété de la famille Lafolye de Lamarzelle, puis du docteur Monnier avant d'être vendu pour devenir une maison de repos et de convalescence pour les soeurs du Père Eternel.