Kasteel Palenstein
In de periode van 1370 tot 1394 werd in de Dorpsstraat het kasteel Palenstein gebouwd. Het was het kasteel van Willem l van Egmond. Het bestond uit een stenen gebouw met daaromheen een gracht en een aantal kleine gebouwen. Het kasteel heette Palenstein, omdat het een stenen (stein) gebouw op houten palen was. Alle huizen in die tijd werden van hout gebouwd, dus als je een huis van steen had, dan was dat erg luxe. Tot 1485 woonde de ambachtsheer van Zegwaart op kasteel Palenstein. De ambachtsheer was een edelman, die het gebied voor de graaf bestuurde.
Tussen 1 700 en 1800 werd het kasteel afgebroken en vervangen door een buitenhuis voor de rijke familie Osy. Uiteindelijk is ook dit gebouw afgebroken en nu is er niets anders over van het kasteel dan oude scherven, potten en pannen van de vroegere bewoners.