Il est probable que le presbytère est construit au milieu du 17e siècle avec sa tour d'escalier et ses appentis postérieurs. Il est difficile de savoir à quoi correspond la date de 1663, portée sur une pierre au-dessus de la porte piétonne du portail, peut-être simplement à la construction du portail. La déclaration du domaine en 1680 mentionne parmi les possessions de la fabrique 'la maison presbytérale couverte d'ardoise et le scellier au nord d'ycelle, contenant de long cinquante pieds et demy et de franc par dehors trente deux pieds et demy". Outre l'écurie "au couchant de la dite maison", l'acte mentionne aussi la cour au levant (sans doute plutôt au devant) avec "son grand portail de taille", ainsi que le jardin cerné de murs au levant. Quoique la tour ne soit pas mentionnée, il est certain qu'elle est en place. Des travaux d'aménagement intérieurs ont lieu au 18e siècle dont subsistent au moins une porte et quelques boiseries.

A la Révolution, le jardin est vendu le 18 prairial an 6 pour 9200 francs à deux citoyens de Lorient. Ce jardin est racheté par la commune pour servir au presbytère en 1820.

Quelques travaux interviennent dans la 1ère moitié du 19e siècle : l'appentis postérieur nord-est est rehaussé et prolongé ; son implantation est figurée sur le plan cadastral de 1842. Cependant la grande campagne de restauration se déroule en 1850 : reprise de la façade avec agrandissement des baies, réaménagement intérieur : escalier, boiseries.