Het verdwenen kasteel Baersdonck is vermoedelijk gebouwd rond 1400, toen de heerlijkheid Grebben ook wel Vorst geheten (Grubbenvorst), werd opgedeeld in twee lenen en door de hertogen van Gelre afzonderlijk werd beleend aan de Van Baersdoncks. Het is daarbij de vraag of dit geslacht de naam van het landgoed heeft aangenomen of de naamgever van het landgoed is geworden.
De heerlijkheid Grebben werd dus opgedeeld tussen dit kasteel en kasteel Het Gebroken Slot. In tegenstelling tot het Gebroken Slot was Baersdonck geen mottekasteel en zal dan ook niet altijd zijn gevrijwaard tegen het hoge Maaswater. In 1676 lezen we dat:" het adelijck ende riddermassigh huys Barsdonck tegenwoordigh gedemolieert ende allen betummert is met huys ende schuye", hetgeen de slechte staat van het kasteel in die tijd al aangeeft. Van het kasteel is dan ook weinig overgebleven behalve hier en daar een verwijzing in het landschap.
Wanneer het kasteel precies is verdwenen, is niet bekend. Wel komt het nog voor op een kadastrale kaart uit 1821, dus in die tijd moet het nog hebben bestaan.
Tegenwoordig is in de directe nabijheid een creatief centrum voor verstandelijk gehandicapten gevestigd met de naam Baersdonck.
