L´accès à l´ancienne grande salle synodale, devenue vers 1900 la chapelle du château, par une belle porte gothique flamboyant et une volée intérieure, pose problème ; il pourrait s´agir d´un remaniement ancien, lié à la suppression de la tour d´escalier hors oeuvre dont la trace est très visible dans le mur de façade, à droite. A l´intérieur, devant le mur de refend nord, une cloison a été ajoutée à la fin du 19e siècle pour racheter l´irrégularité du plan et y adosser un autel-retable provenant de l´ancienne église d´Épiniac. Dans le mur gouttereau est, un décrochement conserve peut-être la trace de l´ancienne cheminée. Cette salle a aussi un beau plafond à poutres et solives très soigneusement moulurées, caractéristique de la fin du 15ème siècle.

A l´extrémité est du logis des Ormes, un haut pavillon à deux étages a sans doute été construit à la fin du 16e siècle sous l´évêque Charles d´Épinay, poète et membre de la Pléiade. La travée de gauche, seule conservée intacte, présente au premier étage une haute fenêtre à piédroits alternés de briques et tables de calcaire taillées en pointe de diamant. Ces piédroits coiffés de chapiteaux ioniques supportent un entablement que couronne un fronton curviligne à denticules. Dans la même travée, la fenêtre du deuxième étage reprend de façon simplifiée ce principe. A ce dernier niveau, trois niches étroites, surmontées d´arcs en brique, scandent la façade (celle de droite a été transformée en fenêtre à une date tardive). A la base du toit une corniche est supportée par des modillons sculptés en masques d´animaux. Tous ces éléments d´une indéniable qualité portent la marque du style en vogue sur le chantier du palais des Tuileries vers 1580. La façade postérieure du même pavillon a conservé des vestiges d´encadrement de baies brique et calcaire, toutefois plus sobres. A l´exception de la grande fenêtre de la façade antérieure, tous ces éléments de décor ont été, sans doute lors des travaux du 18e siècle, systématiquement bûchés et, sur les deux façades, une travée entièrement reprise en granite.

Les étages du pavillon sont desservis par un escalier rampe sur rampe installé dans la dernière travée du corps de logis principal. Le mur de cet escalier est lui-même en brique, les têtes et les marches sont en granite. La grande salle du rez-de-chaussée a conservé une cheminée monumentale à manteau de calcaire. Celle de l´étage a reçu au 18e siècle un beau décor de boiseries rocaille ainsi qu´une grande cheminée de marbre. Une fenêtre du deuxième étage a conservé dans ses ébrasements un lambris à panneaux verticaux moulurés contemporain de la construction du pavillon. La charpente du comble, à chevrons portant fermes et liens courbes est remarquable : elle était probablement destinée à être lambrissée et présente des emplacements réservés pour de grandes lucarnes de pierre sans doute jamais réalisées. Dans ce comble une cheminée atteste d´ailleurs l´intention première d´en faire un étage habitable.

Le pavillon des Ormes est un exemple probablement unique en Bretagne de transcription quasi littérale du style brique et pierre en vogue sur les chantiers royaux des années 1580-1590. Son parti architectural, qui ne peut guère être comparé aux réalisations des environs de Rennes, ne trouve d´équivalent, si l´on fait abstraction des matériaux employés, que dans celui du château de Torigny, construit à la même époque dans le Cotentin par Jean-François Gabriel, architecte d´Argentan, pour le maréchal de Matignon.