La commune de L'Hermitage tire son nom de l'oratoire qui fut dédié à Saint Avit, un ermite, abbé de Saint-Mesmin de Micy (Loiret), dont la légende veut qu'il se soit retiré au VIe siècle en ce lieu, près d'une source, afin d'y exercer ses dons de guérisseur. Ce personnage nous rappelle la période du Ve au VIIIe siècle durant laquelle des moines se sont installés sur les terres bretonnes afin de les évangéliser. La dévotion à saint Avit entraîne au Moyen-Age un pèlerinage qui amène de nombreux croyants à s'installer auprès de sa source miraculeuse et de l'église dans laquelle se trouvait une statue à son effigie. Ainsi, L'Hermitage se développe d'abord comme un bourg ecclésial puis devient rapidement un village-rue qui se déploie autour des voies de communications majeures.

Il est reconnu que L'Hermitage possède plusieurs bâtiments aux qualités architecturales et historiques considérables tels que son église, l'ensemble surmommé " la commanderie", le manoir du Boberil, etc. Cependant, il y a d'autres lieux à l'importance tout autre mais non négligeable dans la vie et le développement de la ville et sur lesquels il est important de s'arrêter.