Collège fondé en 1574 par la ville sur des terrains cédés par Jan Briçon, sieur du Pé et par René d'Arradon, seigneur de Kerran en Arradon, Quinipily en Baud et autres lieux. Le collège qui reste propriété de la communauté de ville, est repris par la Compagnie de Jésus en 1630 et doté de constructions supplémentaires. La chapelle est reconstruite de 1661 à 1685 suivant les plans du frère Charles Turmel qui suit le chantier de 1661 à 1675, et grâce aux générosités de Catherine de Francheville. En 1661, l'architecte nantais Mathurin Bussonière entreprend le voûtement de la chapelle. C'est l'architecte vannetais Jean Caillot qui termine la façade en 1678. Une tour postérieure à la chapelle, servant d'observatoire est élevée par les jésuites. La ville, et de généreux bienfaiteurs au premier rang duquel figurent le roi Louis XIII qui leur donne une propriété (Lestrenic) sur la route de Nantes, subventionnent le collège qui restera un externat. En 1762, les jésuites évacuent le collège alors confié à l'administration communale. Les anciens bâtiments sont démolis en 1887 pour faire place à ceux du collège Jules Simon. Seule la chapelle est conservée.