In 1961 werd de Stichting openbare leeszaal en bibliotheek Gilze en Rijen opgericht. Doel was om zowel in Gilze als in Rijen een openbare bibliotheek met leeszaal op te zetten. Het bestuur wilde eerst in Rijen een bibliotheek openen, maar dat bleek lastig omdat het bestuur daar geen geschikte ruimte kon vinden. In Gilze lukte dat wel: de bovenverdieping van de Villa Mol. Op de begane grond kwam de Hulpsecretarie, nadat het gemeentehuis in 1961 naar Rijen was verplaatst. In 1964 werd de bibliotheek officieel geopend en tot de verhuizing naar een nieuw pand in 1982 heeft de bibliotheek daar in de villa gezeten.
Van 1982 tot 2008 zat de bibliotheek in de Augustinastraat. Om daarna naar De Schakel te verhuizen. Daar zit de bibliotheek nog steeds
In 2005 werd basisbibliotheek Theek 5 opgericht; naast Gilze en Rijen maken Oosterhout, Dongen, Drimmelen, Geertruidenberg, Baarle-Nassau en Etten-Leur deel uit van deze organisatie.