La chapelle est construite au 16e siècle par Macé Rubin, prieur de Pont-Remi et subcuré du Pertre : "une belle chapelle près la lande des Drubles, en l'honneur de Dieu, la très-sainte Vierge et Mrs saints Sébastien, Roch, Marc, Gorgon, Mathurin et Claude", dont il fit faire "les portraictures" pour orner le sanctuaire. Autre messe en l'honneur de sainte Barbe. Toutes les statues ont disparu. En ruine avant 1790, elle est reconstruite en l'honneur de saint Joseph par les paroissiens à la suite d'un voeu fait pendant la guerre de 1870.