Ruiné par la guerre de succession de Bretagne (1341-1364), le prieuré des Brûlais fut sans doute rebâti à l'instar de l'église aux frais d'un seigneur de Lava. En 1679, l'établissement consistait en un logis prioral restauré à cette époque, avoisinant la chapelle Notre-Dame ; une grande cour s'étendait devant le manoir et renfermait l'habitation du métayer ; une haute muraille et trois portes fermaient cet enclos. A côté étaient le jardin, le verger, une vigne, un bois de haute futaie avec garenne, des prairie... Pourtant, il dut être sécularisé au cours du XVIIIe siècle, car si l'on en croit le Dictionnaire d'Ogée, il était possédé par madame Sorel dès avant la Révolution. Abandonné pour une nouvelle maison presbytérale dont l'édification s'éclaire alors, le logis prioral est figuré comme partiellement ruiné sur le cadastre de 1836. Ses matériaux furent remployés à la construction de la nouvelle église Saint-Etienne comme en témoigne le fragment de linteau sculpté d'un calice et d'une patène enchassé dans le mur sud du transept. La bâtisse subsistante devait avoir l'allure d'un manoir à étage avec grande salle en rez-de-chaussée dans le style du début du XVIe siècle. La belle porte de la façade sud, avec son arc appareillé en claveaux de schiste et de grès, pourrait être un vestige du XVe siècle.