Etabli à proximité de la chapelle du Féty, la maison dite "l'auberge du serf montant" donnait alors directement sur le port par l'intermédiaire de la rue Basse de Calmont qui bordait le rivage. Le sieur Brunet, propriétaire de l'édifice en 1695, est également marchand de vin, ce qui justifie son établissement à cet endroit.
Le corps principal est édifié au 3e quart 17e siècle (1661) pour Sébastien Nicolas, sieur du Bignon, tandis que l'aile en retour sur la rue du Féty est bâtie vers 1694, d'après l'aveu fait par André Brunet en 1695. L'édifice est vendu par Catherine Nicolas à André Brunet en 1694.
En 1742, Ignace Advisse des Ruisseaux acquiert des frères d'Homme qui avaient hérité d'André Brunet, 7/ 10e de la maison. Cette dernière consiste alors au rez-de-chaussée en un cellier et deux chambres basses, deux chambres au 1er étage en façade et deux autres au même étage donnant derrière, un grenier au second étage, une cour close de murs avec cellier et puits.
En 1844, l'édifice formait un plan en U, dont la partie est, reconstruite et constituée de garages a été allongée vers le sud à la fin du 19e siècle. Le puits mentionné dans l'acte de 1695 a disparu. En 1885, on y mentionne la présence du commerce de vins en gros Aumont.
Photographe à l'Inventaire