La position de la Brulonnière le long de la route du port à Larmor la situe initialement au bord du rivage de la rivière de Vannes, avant l'implantation des chantiers navals et la construction des quais à partir de 1816. Dans un aveu de décembre 1752, Jean et Vincent Plaudren déclarent l'avoir fait construire. De cette période subsiste le corps central à trois travées avec ses ouvertures en arc segmentaire, avec tour d'escalier en hors-oeuvre modifiée au 19e siècle. Les Plaudren font également mention de la construction d'un four "accolé à son pignon nord et se desservant en dedans de la dite maison", qui subsiste toujours. Le 27 novembre 1738, l'autorisation avait été accordée par le Roi à Plaudren, maître-boulanger de la ville, de faire construire un four "pour cuire du biscuit de mer". Au pignon sud, une cheminée de cette époque en marbre est également conservée.

En 1770, un devis est dressé au sieur Brulon pour la réalisation du jardin paysager en terrasses. C'est à ce propriétaire que le Brûlonnière doit son nom, figurant sur les plans cadastraux de 1809 et 1844.

Après 1870, date d'acquisition par la famille Le Cour et avant 1873, où cette famille est imposée sur trente huit portes et fenêtres (alors que Paul Le Fol est imposé en 1844 sur 15 portes et fenêtres), la maison est allongée de deux corps latéraux de deux travées chacune et la tour d'escalier est augmentée (reconstruite, ?) et sommée d'une pièce haute ; l'escalier est refait en bois avec rampe en fonte.