Pour l’abbé Royer, le prieuré de Saint-Jacob pourrait avoir été fondé par Gosseline, dame de La Gacilly, épouse de Jean de Montauban, vers 1180. Il relevait de l’abbaye de Paimpont, qui y avait peut-être envoyé deux moines. Un compte de 1330, conservé dans les archives vaticanes, précise les redevances que les prêtres bénéficiers devaient payer au pape, et le distingue de la paroisse des Fougerêts.

Vers 1465, il semble que les moines soient rentrés à Paimpont ; le prieuré est devenu une simple chapellenie : dans cette sorte de contrat, passé devant notaire, une personne met à la disposition d’un prêtre - le titulaire - un « bénéfice » sous forme de terre, de somme d’argent… pour que ce dernier assure au donateur la célébration de messes à perpétuité. À partir des 15e-16e siècles, les seigneurs de Rieux se donnent comme les fondateurs de la chapellenie et nomment les titulaires. Les seigneurs de Rieux ont construit à Glénac le château de la Forêt Neuve, célèbre pour ses chasses. Étant donné l’éloignement de Rieux, l’écart devient le siège d’une petite cour de justice pour le comté, où s’établissent juges et officiers ministériels, donnant ainsi de l’importance au lieu.

La chapelle est rebâtie à la fin du 15e siècle, simple petite nef surmontée d’un campanile, dont le linteau de la porte portait les armoiries de Bretagne et de Rieux : mi-parti au 1 : d’hermine plain ; au 2 : d’azur à dix besants d’or, le tout surmonté de deux têtes de béliers rappelant la devise de la famille : « À tout heure, bellier ». À partir de 1653, la chapellenie demeure sans titulaire régulier et la chapelle tombe peu à peu en ruine. En 1742, ses revenus sont unis par l’évêque de Vannes à ceux d’autres chapellenies desservies dans l’église de Glénac.