Al vanaf 1920 kende Rijen cursussen en vormingsbijeenkomsten voor de jeugd. Onder andere Kapelaan van Mierlo had hiervoor het initiatief genomen. Er kwamen zelfs twee patronaatsgebouwen, één voor jongens en één voor meisjes. De godsdienstige en zedelijke vorming werd toen erg belangrijk gevonden. Maar door gebrek aan ruimtes en door de vernielingen in de Tweede Wereldoorlog kwam het jeugdwerk moeizaam op gang. Dit veranderde toen in 1963 de JOR (Jeugd Ontspanning Rijen) werd opgericht; een grote groep vrijwilligers organiseerde allerlei activiteiten voor jeugd en jongeren. Een keer per jaar, in de grote vakantie was het JOV (Jeugd Op Vakantie) waar zeker vierhonderd kinderen aan deelnamen.
Later werd de naam Sociaal Kultureel Werk Rijen. Het SKW kreeg vanaf 1970 een beroepskracht en vanaf 1973 een eigen gebouw, De Boemerang. Dit alles maakte het mogelijk om voor peuters, kleuters, jeugd en jongeren verschillende activiteiten te organiseren. In 1997 verhuisde het SKW naar Cultureel Centrum De Boodschap en werd De Boemerang afgebroken. Het jongerenwerk kreeg in De Boodschap een eigen ruimte op de bovenverdieping, waar ze tot 2008 bleven.
In 2008 is er voor het jongerenwerk een eigen Stichting binnen de gemeente opgericht, Stichting Jongerenwerk Gilze en Rijen. In Rijen heeft deze organisatie de beschikking over een eigen pand, A16 geheten, in Gilze rijdt een jongerenbus. De jongerenopbouwwerkers zijn in dienst van ContourdeTwern.
Het sociaal cultureel werk in Gilze is altijd uitgevoerd in het gebouw dat sinds 1972 De Schakel wordt genoemd. Voor die tijd heette het patronaatsgebouw.
In Gilze organiseert Kiak (werkgroep Kinderactiviteiten) het kindervakantiewerk; in Rijen doet de werkgroep Kindervakantiewerk dat.