Le 1er édifice aurait été l'église paroissiale de Pontivy, supplanté vers la fin du 15e siècle par l'église Notre-Dame-de-Joie. L'actuelle chapelle Saint-Ivy a été construite en 1770 : date sur l'élévation antérieure sud. Remaniements 2e moitié 19e siècle : élévation ouest. Saint-Ivy, notamment depuis la fin du 17e siècle, était plus spécialement affectée à une congrégation des artisans de la paroisse, érigée en l'honneur de la Sainte Vierge, sous le titre de la Purification de Notre-Dame. Une ordonnance du duc de Chaulnes en 1685 précise la participation de cette congrégation à la procession du roi. En 1736, la congrégation compte 180 membres.