Als gevolg van het toenemend aantal bombardementen en de heftigheid daarvan, vluchtten veel inwoners van Gilze naar omringende dorpen. Ze zochten vooral hun heil in Alphen en Chaam. Sommigen keerden pas na de bevrijding terug in Gilze. Gilze was volgens sommigen veranderd in een spookdorp.