‘Raadhuis’ was voor een dorp in de zeventiende eeuw een groot woord. Er werd voornamelijk vergaderd in herbergen en in Gilze zal dat ook niet anders zijn geweest.
Toen Van Berckel in 1655 naast secretaris ook schout geworden was - en daarmee de hoogste gezagsdrager in het dorp - nam hij het Heilige Geesthuisje in gebruik. Het huisje was eigendom van de Armenzorg en stond op het kerkhof aan de noordzijde tegen de kerk aangebouwd.
Gilze en Rijen beschikte dus over het eerste officiële dorpshuis. Een gebouwtje van vijf bij tien meter, dat twee gelijkvloerse vertrekken had met daarboven een zoldertje. Een ruimte voor de secretaris en het archief en in de andere ruimte vonden de vergaderingen plaats. Dit zou tot 1796 duren. Daarna kwam de domineeswoning aan de Raadhuisstraat als dorpshuis in beeld.