Saint-Armel a conservé dans ses grandes lignes la physionomie modeste de son bourg ancien. De taille très restreinte, centré sur son église, c'est le noyau primitif à partir duquel la paroisse s'était constituée. Quelques maisons anciennes sont encore en place. Parmi elles, la maison la plus remarquable est celle dite du prieuré, située à l'angle de la route de Châteaugiron. D'autres maisons anciennes sont à signaler comme celle en face du porche ouest de l'église, en retrait par rapport à la rue, qui doit remonter au début du 17e siècle. Le 19e siècle vit la commune prendre la physionomie qu'elle a longtemps conservée avec la construction de la mairie-école et de la gare, le transfert du cimetière et l'aménagement du réseau vicinal.