In 1330 werd Robbert van Blitterswijk door de hertog van Brabant met de heerlijkheid beleend.
Tot in het begin van de 16e eeuw hield de familie het slot in bezit. In 1944 werd het kasteel verwoest. Nu is alleen een deels ommuurd terrein nog over van het kasteel. De ruïne is vrij toegankelijk.
