Les traces d´une première chapelle sont attestées sur ce lieu dès 1183, puis en 1373. Les inscriptions sur la pierre noire située dans le mur extérieur semble indiquer qu´une nouvelle chapelle est édifiée en 1527. Mais la chapelle que nous voyons actuellement fut construite entre 1610 et 1683 sur la roche Roch' a ma dour qui arme le sillon de galets. Il est possible que la flèche de la chapelle ait été détruite durant la bataille de 1694, même si aucun document ne l´atteste avec certitude. La toiture fut détruite par un incendie le 24 février 1910. Le nom de cette chapelle viendrait du pèlerinage vers St Jacques de Compostelle dont Rocamadour en Quercy est l´une des étapes. Un abbé érigea ici une chapelle pour servir d´étape aux pèlerins nordiques qui allaient prier la vierge noire de Rocamadour et qui débarquaient à Camaret. La vocation maritime de cette chapelle est attesté tant par son site d´implantation (jusqu´au 17e siècle, la chapelle était isolée de la côte à chaque marée haute) que par son rôle d'étape pour des pèlerins venant par mer et par les traditions qui s'y rattachent. En effet, par temps de brume, la cloche de la chapelle guidait le retour des bateaux et son pardon en septembre était suivi d´une bénédiction de la mer. On trouve aussi à l´intérieur 8 ex-votos marins : 3 maquettes suspendues (2 goélettes morutières étrangères à Camaret et le langoustier Belle-Étoile), 4 bouées avec leurs rames (St-Christophe et N.D. de Bon Secours de Camaret, N.D. de Lourdes d´Ouessant, Rouanez-ar-Rosera d´Audierne) et une maquette sous vitrine devant un paysage peint. Une petite copie d´une oeuvre du peintre Charles Cottet représentant l´incendie de la chapelle se trouve dans l´édifice, l´original étant conservé à la mairie.