L’hospice d’Audierne a été bâti en 1891 (date portée sur le fronton du pavillon ouest) suite à un legs de Mathilde Lesné, née de Lécluse, à la mairie d’Audierne. Ce legs est motivé entre autre par les dernières volontés de la sœur de la donatrice : Léontine de Lécluse Trevoëdal. Les deux noms sont mentionnés sur le fronton est du pavillon est « HOSPICE / DELECLUSE TREVOEDAL / LESNE ».

Le bâtiment a été construit sur les plans de l’architecte douarneniste Ruer. Son emprise englobe tout un ilot visible sur le cadastre de 1837 : la partie sud était occupée à cette date par une maison et ses dépendances, propriété la famille donatrice et la partie nord par deux maisons et un petit terrain acquis pour l’occasion par la commission administrative de l’hospice.

En plus de l’accueil de personnes âgées démunies de la commune, l’hospice d’Audierne s’est doté d’une salle d’asile (dite crèche sur le plan de 1890) pour l’accueil des enfants dans le besoin. La direction de l’établissement est confiée à la communauté des Filles du Saint-Esprit.

L’hospice ouvre en 1892 et accueille douze pensionnaires indigents originaires de la commune et de nombreux enfants. Il est alors géré par trois sœurs. Trente ans plus tard, les locaux sont jugés insuffisants et la commission d’administration de l’hospice achète le château de Locqueran en Plouhinec pour y créer une annexe.

En 1952, l’établissement devient hospice départemental et, par conséquent, cesse son activité de garderie. En 1970, il accueille 54 pensionnaires. Il déménage finalement rue Jean-Jacques Rousseau en 1990.

Au début du 21e siècle, les deux pavillons sont à nouveau occupés : le musée maritime du Cap-Sizun s’installe à l’ouest ainsi que dans la cour et l’Office de Tourisme à l’est.