In 1874 begon Maria Houben met haar tweede man Sjef Segers een café met uitspanning op de plek waar nu Raadhuisstraat 13-15 is. Sjef was niet alleen kastelein, hij was ook bakker. De bakkerij met winkel lag achter het café. In 1882 werd naast het pand een zaal gebouwd voor harmonie St. Cecilia. In de gevel werd een steen gemetseld met de tekst Harmoniezaal A. Aarts 10-10-1881. Aarts was de directeur van de harmonie. En daarnaast zette Sjef een kiosk neer waar de harmonie in de zomer concerten gaf. De harmonie verzorgde ook elk jaar, om de kas te spekken, een toneeluitvoering of revue. Segers had een vergunning voor het schenken van sterke drank. Na het overlijden van Sjef in 1912, nam zoon Stan de zaak over. Maar die lustte zelf nogal graag een borreltje en dat bezorgde het café een slechte naam. Zo slecht dat de harmonieleden bezwaar maakten en de pastoor, als president -directeur van de harmonie, in 1916 besloot om de harmonie op te heffen. In de zaal, die daardoor niet meer in gebruik was, kwam een ontspanningsruimte voor jongeren. En dat was daarmee de voorloper van het patronaat in Gilze. Overigens werd de harmonie na twee jaar weer opnieuw opgericht.
Café Segers kreeg in 1921 een nieuwe eigenaar, slager Harrie van Wezel. Hij trok de harmoniezaal bij het café, dat daarna de naam ‘De Oude Harmonie’ kreeg. Hier werd toen een handboogschutterij opgericht, bestaande uit schutterijen die tijdens de Eerste Wereldoorlog waren stilgelegd. Ook de toneelvereniging van de burgerwacht ‘Streven naar gezelligheid’ was er thuis. In de jaren erna wisselde het café verschillende keren van eigenaar tot eind jaren vijftig Jan van den Ouweland eigenaar werd. Vanwege zijn rode haar werd hij in Gilze d’n Blauwe genoemd en dat werd toen ook de naam van het café. Elke nieuwe eigenaar daarna gaf het café een andere naam: De Jager (omdat er een luchtbuksvereniging en handboogschutterij thuis waren), De Fidel (omdat de eigenaar door zijn baard op Fidel Castro leek) en C’est la (Hier is het). In 2007 is het café helemaal afgebrand.
Toen Harrie van Wezel in 1921 het pand kocht en er de Oude Harmonie van maakte, bleef een deel van het oorspronkelijke pand over (nu Raadhuisstraat 13) Dat werd gedeeltelijk bij de koekfabriek van Smolders getrokken en een ander stuk werd winkel. De winkel werd in de zestiger/zeventiger jaren verbouwd tot nachtbar. Die kreeg eerst de naam Rio-bar, vervolgens Bar Baloe en daarna Praatcafé Baloe. Vanaf 2003 is de bar gesloten. Ook de woning die naast het café lag (nu Raadhuisstraat 17) kreeg een andere bestemming. Eerst textielwinkel, tegenwoordig zit er cafetaria Pumucki.
