L'origine de la création d'un premier presbytère remonte à la fin du XVIe siècle lorsque le 12 août 1582 des habitants du hameau du Breil demandent à l'évêque de Saint-Malo, François Thomé la permission de bâtir une église au Verger.
Toutefois, quelques années plus tard un conflit apparut au sujet des droits de supériorité et d’entretien du prêtre entre le seigneur de Monterfil et celui de la Bedoyère à Talensac s'envenima au point qu’en 1605 l’évêque déclara qu'en cas de refus des seigneurs l'entretien du prêtre serait à la charge des habitants.
Le Parlement de Bretagne trancha en 1618, en chargeant les habitants de Le Verger à bâtir à leurs frais le presbytère. En 1623 le terrain du Paumery, le long de la route de Monterfil, fut choisi. Le seigneur de la Bedoyère qui le possédait abandonna alors ses droits de fief aux paroissiens et donna les matériaux nécessaires pour la construction.
Au début du XIXe siècle, des paroissiens font agrandir le bâtiment qui n'était composé jusqu'alors que d'une pièce principale au rez-de-chaussée et de deux chambres à l'étage. A ce moment, on y adjoignit une seconde pièce au rez-de-chaussée et une chambre au-dessus pour donner au presbytère sa configuration actuelle. Une pierre calcaire datée et gravée des noms des habitants qui participèrent à ces travaux de construction est incrustée dans la façade nord du côté de la rue.
