De welgestelde familie Scheres woonde vanaf 1500 van generatie op generatie op dit landgoed, genaamd Scheresgoed. Frederik Baron van Olne verwierf in 1766 huize Scheres. De Baronnen van Olne braken huize Scheres af en bouwden het huidige kasteel Scheres.
Willem d'Olne was de laatste uit het geslacht d'Olne. De zoon van Willem, Josephus Ernestus Hubertus Wilhelmus (1848-1891) trouwde op 30 december 1888 met Barones de Weichse de Wenne van Geysteren. Toen deze Barones in 1930, als weduwe, overleed werd het kasteel eigendom van Baron de Weichs de Wenne, een Duitse generaal. Deze verpachtte het aan zijn neef, die het vanaf 1935 bewoonde.
In 1962 was de Japans-Amerikaanse kunstenaar professor Shinkichi Tajiri eigenaar van het kasteel. De ijzeren knopen in Baarlo zijn van zijn hand.
Het kasteel en de tuin van Kasteel Scheres zijn niet toegankelijk voor publiek.
