Pierre Le Vacher établit la construction de son hôtel sur la plus grande parcelle au nord-ouest de la rue Saint-Vincent, bordée au nord et à l’ouest (entrée de la cour de l'hôtel place de la Poissonnerie) par le canal de la Marle alimentant le moulin des Lices dont il le séparait encore en 1844. La taille de cette parcelle fait supposer l’acquisition de plusieurs parcelles d’origine étroites et contiguës issues du lotissement d’origine de la rue Saint-Vincent et dont témoignent les parcelles à l’est de la rue.
L’hôtel est établi entre la cour à l’ouest et la rue à l’est sur laquelle se développe sa façade principale. La cour est limitée par deux piliers carrés en pierre de taille amortis en boules, marquant autrefois le bord ouest du canal sur la place de la Poissonnerie. Une seconde série de piliers dont ne subsiste que le pilier sud bordaient autrefois la rive est du canal. La cour pavée montre un léger dénivelé avec le corps principal, dénivelé absorbé par une volée d’escalier permettant l’accès au rez-de-chaussée par la tour d‘escalier. Ce dénivelé permet également un accès direct aux caves des appartements au rez-de-cour de l’aile en retour sud.
En alignement de rue, la façade principale de l’hôtel développe sur deux étages et un étage de comble une façade régulière à 6 travées, la porte d’entrée décalée vers le nord donnant accès à un couloir dallé menant au corps d’escalier ; l’escalier à trois révolutions et deux volées de granite s’apparente par ses arcs rampants en calcaire délimitant un jour central, à ceux de l’hôtel de Limur et du palais épiscopal, ces derniers sur un développement plus important. Ce modèle est relativement répandu en France dans les grandes demeures de cette période (hôtels urbains, bâtiments conventuels et châteaux) ; cependant, les balustres en pierre ont été remplacés au 19e siècle par une balustrade en bois sans caractère : un seul balustre subsiste sur le repos en demi-étage, sans doute en calcaire et recouvert comme les arcades d’un affreux enduit. Le rejet de l’escalier dans un corps en demi-hors-oeuvre sur la cour, couvert d’une toiture indépendante à croupes brisées, avec élévation à travées décalées dont les ouvertures sont comme ailleurs en calcaire (à l’exception de la porte d’accès à partir de la cour, qui, comme celle sur rue, est en granite) contribue à mettre en valeur cette demeure, dont l’usage initial semble pourtant locatif, selon l’acte de 1686 (voir annexe 1). Dans cet acte, la distribution comporte de l’étage noble (1er étage) au sud de la cage d’escalier, un grand appartement en équerre comprenant deux pièces sur rue et trois pièces dans l’aile de retour sur cour dont la cuisine, distribution qui doit se répéter à chaque niveau. Au nord par contre, les niveaux du corps principal ne contiennent qu’une ou deux pièces sur rue, l’aile nord en retour sur cour dédiée aux écuries non liée au corps principal.
Aucune espace intérieur n’a été vu (à part l’étage de comble de la partie nord qui ne comporte aucun lambris ni cheminées) : il est donc difficile de savoir si les décors intérieurs ont été conservés.
La structure de cet édifice (cour avec piliers d’entrée, tour d’escalier hors-œuvre, écuries), ses dimensions, sa hauteur sur rue qui tranche avec celle de l’hôtel voisin, pourtant contemporain, lui font attribuer la dénomination d’hôtel. Or, dès sa construction, l’appartement de l’étage noble est loué au seigneur de Naive qui sous-loue immédiatement une partie à Pierre de Moulinet conseiller du roi. Cette contradiction (l’hôtel est en principe destiné à la résidence d’une seule famille) est sans doute à mettre en lien avec la « crise du logement » qui sévit à Vannes avec l’arrivée du Parlement en 1675.
L’intérêt de cet édifice réside surtout dans son absence de remaniements importants et dans la conservation d’éléments tels que la cour postérieure avec ses piliers d’entrée, ses écuries, ainsi que son escalier, unique à Vannes par ses minces arcs rampants de pierre autour d'un jour central.
