Bâtie dès les premières années du 17e siècle, cette ancienne église paroissiale était à l’origine placée sous le vocable de san Rumon, saint breton peu connu. C’est en 1657 qu’apparait pour la première fois aux registres paroissiaux le nouveau vocable de saint Raymond Nonnat qui est toujours utilisé aujourd’hui.

Selon H. Le Carguet et contrairement aux églises voisines, celle d’Audierne n’a pas été construite par des maitres jurés et d’après des plans détaillés mais par les ouvriers de la localité. « Aussi ne présente-t-elle aucun caractère notable, si ce n’est sa masse imposante, vue des hauteurs de Keridreux et de Kervréac’h. » Toute la population de la paroisse contribua à son édification selon les ressources de chacun. La participation des maitres de barque est toujours visible à travers les trois « vaisseaux de pierre » sculptés sur les murs extérieurs du monument.

Peu de modifications sont à noter après le milieu du 17e siècle sinon la réfection du clocher en 1731, signalée par l’inscription visible sous la corniche : « H : H : MATTIEV : YVENOV : F : LAN : 1731 » ainsi que la disparition de la sacristie et de l’ossuaire bâtis respectivement en 1646 et 1652.

A la fin du 19e siècle, devant un accroissement considérable de la population d’Audierne et un arrivage massif de marins étrangers lors de la saison de la sardine, l’église Saint-Raymond est jugée trop petite par le conseil municipal. A ce sujet, on sait qu’en 1900 environ 900 fidèles assistaient à chaque messe dont le quart se trouvait à l’extérieur de l’édifice.

C’est pourquoi il fut décidé, non pas d’agrandir l’église, mais d’en construire une seconde plus vaste à proximité. Ce qui fut fait dans les premières décennies du 20e siècle avec l’édification de l’actuelle église paroissiale Saint-Joseph située à 150 mètres environ, vers le sud-ouest.

C’est alors que l’église Saint-Raymond d’Audierne fut destinée à servir de chapelle spécialement affectée aux enterrements, ce qui, selon H. Le Carguet, « perpétuera le souvenir des deuils qui se rattachent à cet édifice ».