L'image Sainte-Anne est installée d'abord rue Saint-Yves et mentionnée comme telle en 1738. Sur le plan cadastral de 1844, elle figure à côté du collège, à la place de l'école Paul Bert. On sait qu'elle est vendue en 1782 au marchand Morel pour 3000 livres par l'aubergiste Burquin d'après les registres du centième denier. Dans le 4e quart du 19e siècle, cette auberge déménage et s'installe place du Champ de Foire. Le 12 août 1878, le conseil municipal vote la démolition des anciens bâtiments de cette auberge rue Saint-Yves pour la construction à leur place de l'école communale laïque Paul Bert. Le passage couvert qui donne accès à la cour est postérieur à la date de construction de l'auberge. En 1886, Perrodo, le propriétaire de l'Image Sainte-Anne est signalé dans l'annuaire du département en tant que cabaretier rue d'Auray. C'est seulement à la fin du 20e siècle que l'hôtel s'agrandit en englobant la maison voisine construite par Caubert de Cléry.