Als Heer van Breda gaf Hertog Jan III van Brabant in 1334 Gilze (met Alphen, Baarle en Ulvenhout) als onderpand aan een zoon van Raso II van Liedekerke. Negen jaar later loste deze het onderpand weer in en gingen de dorpen opnieuw deel uitmaken van de Heerlijkheid Breda. Tussen de dorpen Gilze, Alphen, Baarle en Ulvenhout was dus al vroeg sprake van een zekere samenhang.