Het huidige landgoed Valkenberg ligt in de zuidwestelijke uitloper van de gemeente Gilze en Rijen en is 220 hectaren groot. Het ligt in de buurtschap Valkenberg richting Chaam.
In de middeleeuwen was Valkenberg onderdeel van een bos en behoorde het tot de bezittingen van de Abdis van Thorn. In 1237 werd het bos tegen een jaarlijkse cijns uitgegeven aan de abdij van Tongerlo.
In 1277 kreeg de Heer van Breda het tegen betaling van cijns in beheer.
In een cijnsboek van 1456 komt Henrick Moens, valckener, als grondbezitter van Valkenberg voor en staat Willem van Berchem Janszoon te boek als cijnsplichtige. Ook ‘joffrouw Lysbetten van Valkenberge’ wordt genoemd als cijnsplichtige. In 1654 was Anthony Crocq de eigenaar.
Toen het gebied in 1832 in kaart gebracht werd, bezat (naast de Staat) de toenmalige eigenaresse van de buitenplaats Valkenberg, douairière Anna Carolina Lucile Jantzon van Nieuwland-barones van der Borch, de meeste grond, namelijk 121 ha.
Valkenberg betekent ’zandige verhevenheid waar valken voorkomen’. Mogelijk duidt het er ook op dat er valken gevangen werden of dat er op valken werd gejaagd.