La façade du numéro 46 ne témoigne plus aujourd'hui de ce que cette demeure a pu être jadis, aux 16e et 17e siècles, époque vraisemblable de la construction d'origine. Grâce à des dessins de la fin du 19e siècle, nous savons que le bâtiment disposait alors d'un porche surélevé auquel on accèdait après avoir gravi quelques marches. Ce type de porche était rare en Bretagne. Le porche, large avancée des étages sur la rue permettait l'agrandissement de la surface habitable dans les étages supérieurs et la création d'un passage couvert au rez-de-chaussée, propice au commerce des toiles de chanvre, dites canevas. A l'instar de bon nombre de maisons de la rue Poterie, ce bâtiment est éventré vraisemblablement à la charnière des 19e et 20e siècles, en application du plan d'alignement de 1842. Le porche disparaît alors pour faire place à une façade moderne. Les caractéristiques architecturales de cette construction : façade à travées, décor de brique abondant en façade... permettent de la dater du début du 20e siècle. Il n'est pas impossible que le plan, la disposition et des éléments de décor anciens soient conservés derrière cette façade. Les documents d'archives ainsi que l'iconographique ancienne donnent à cette maison le nom de « Maison Gougeon ». A la fin du 19e siècle et dans la première moitié du siècle suivant, cette demeure est la propriété de la famille Choleau, dont le dernier représentant, Jean-Marie Choleau, décédé au début des années 1960, est connu pour avoir été le dernier tisserand, marchand de toile de Vitré, et le conservateur du Musée du Château. Comme en témoigne l'iconographie, la boutique est alors un commerce de toile, vitrine des ateliers situés dans la partie arrière de la maison et vers la rue Saint-Louis, où Jean-Marie Choleau avait acquis l'ancien hôtel particulier de Mathurin Hardy de la Largère, premier maire de Vitré.