Het bewoonde Kasteel Kaldenbroek stamt uit circa 1394. Sindsdien is het kasteel veelvuldig verbouwd.
Het huidige hoofdgebouw is niet groot en oogt als twee aan elkaar gebouwde boerderijen. In de muren is veel mergel verwerkt van voorgaande verbouwingen. Van de grachten zijn kleine delen nog herkenbaar.
Het kasteel ligt midden in de stilte van een beschermd natuurgebied (onderdeel van Stichting het Limburgs Landschap). Een grote boom staat hier centraal. Momenteel is het kasteel in gebruik als vakantiewoning en b&b.
