Immeuble datant probablement du 4ème quart du 19e siècle (1880 d'après le cadastre numérisé). Il est sans doute construit sur l'emplacement d'une maison plus ancienne dont une partie du soubassement est conservé. Cette maison figure sur le plan cadastral de 1844 comme appartenant à Aline Macaire de Rougemont. La maison pourvue d'une cour d'après le cadastre de l'époque comprend également un grand jardin latéral clos de murs sur la parcelle 1661.
Un étage de comble est ajouté au milieu du 20e siècle et la boutique au rez-de-chaussée est entièrement reprise à la fin du 20e siècle en conservant les colonnes en fonte du magasin d'origine.
Les matrices cadastrales de 1844 signalent Aline Macaire de Rougemont (rentière) comme propriétaire de la maison 4, 6 rue Brizeux (parcelle 1665). Elle est également propriétaire de celle construite sur la courtine qui rejoint la tour dite "tour du bourreau" (n°8, parcelle 1662 et parcelle 1663 pour une partie de courtine) et de la maison comprenant un jardin dans les douves du Mené (parcelles 1660, 1661). Elle est sans doute la fille de Julien Vincent Macaire de Rougemont, directeur de l'Enregistrement et des Domaines du département qui demande au maire en 1813 l'autorisation de construire sur le mur d'enceinte attenant à sa propriété.