Cet hôtel particulier fut probablement bâti vers 1770 en englobant, ce qui explique l´irrégularité du plan, un logis du 17e siècle dont subsistent des vestiges (partie sud, cheminée). Le jardin était séparé de la rivière de l´Isole par un chemin liant le port à l´ancienne place au Lards (actuellement place Carnot). En 1777, le jardin fut diminué suite à l´élargissement de la voie, dite " rue neuve" sur le cadastre de 1824 (actuellement rue de la Tour d´Auvergne). Une partie de l´aménagement intérieur (lambris, cheminées) correspond à la principale campagne de construction. L´escalier et certains cloisons et lambris ont été modifiés au milieu ou dans la seconde moitié du 19e siècle. Jules Le Louédec, député, sénateur et maire de Quimperlé entre 1904 et 1908, fait probablement construire les communs en forme de pavillon accessibles depuis la rue de la Tour d´Auvergne.