Selon François-Marie Luzel (1821-1895), une légende serait associée au château :
Première version : "Dans les souterrains qui sont sous les ruines habite, dit-on une belle princesse, qui en sort parfois, vers midi, quand un beau soleil luit ou à minuit, quand il fait un beau clair de lune pour étaler des riches trésors d'objets d'or, de perles et de pierres précieuses aux rayons du soleil ou à la clarté de la lune ; on l'appelle en breton Ar C'hwilosten goz, c'est-à-dire la vieille Scarabée".
Deuxième version : "Au vieux château du Quinquis dans la commune de Plufur, on voyait souvent, au clair de la lune, une belle dame qui venait peigner ses cheveux blonds au sommet d'une tour en ruine, et jouer avec des pièces d'or, des perles et des diamants. Et pendant ce temps une énorme couleuvre (le diable sans doute) rôdait autour d'elle".
Chargé d'études d'Inventaire du patrimoine à la Région Bretagne.