Un aveu au roi de 1699 mentionne l’existence d’un manoir à Poulguidou. Il est alors décrit en ces termes : « Le manoir, consistant en de vieilles ruines vieilles douves, colombier, estang, moulin et pourpris, plus deux métairies nobles ». Signalé comme ruiné sur le cadastre de 1836, il ne reste rien de ce manoir en 2022 sinon quelques morceaux de murs correspondant à la partie est du bâtiment principal..

Cependant, dans ce même secteur, apparaissent sous la végétation les vestiges d’un ancien tertre dressés sur une pointe de terre s’avançant dans l’étang. Certains comme E. Flagelle (1877) et C. Parcheminou (1931) y ont vu une motte ou forteresse féodale du 11e siècle. Selon eux, cette proéminence devait former un ilot entouré par des douves alimentées par l’étang.

D’autres auteurs comme P. Kernevez (1997) y ont vu la base d’une petite tout carrée intégrée à un site castral avec habitat manorial et réduit défensif.