In de 17e eeuw liep er een oude handelsweg van Breda via Tilburg naar Den Bosch, de Bosschebaan. Aan de westkant van Rijen liep deze weg langs ‘de vijff eijcskens’ waar een boerderij van Peeter Francken de Jonghe lag. In 1661 verkocht hij die aan Huijbrecht Cornelis Huijbrechts en die begon in het pand zowel een herberg voor handelaars en reizigers als een bierbrouwerij. Het pand had toen al de naam De Vijf Eiken. De herberg lag dus op een gunstige plek. Bovendien lag er achter de herberg een jachtterrein, waar bijvoorbeeld stadhouder Willem III, die ook Heer van Breda was, kwam jagen. De consumpties van deze jagers, maar ook van militairen die er in de omgeving oefeningen hielden, werden door de gemeente betaald. In 1700 werd Cornelis Huijben van Dongen de nieuwe eigenaar. Zijn opa, Thomas Houtepen, had een brouwerij naast de kerk in Rijen. Tot 1794 ging De Vijf Eiken steeds over op een nieuwe generatie Van Dongen. De plek van het café werd steeds gunstiger nadat de weg die van Oosterhout naar de Bosschebaan liep, werd doorgetrokken naar Gilze tot waar nu de Ridderstraat ligt. De Vijf Eiken lag nu op een kruispunt van doorgaande zandwegen. Vanaf 1794 werd de Vijf Eiken verhuurd aan Peeter de Hoon en zijn vrouw Dorothea Bakx, een brouwersdochter. Van 1839 tot 1847 was Adriaan van der Maade de herbergier en brouwer. Maar in dat jaar moest hij het pand verlaten, omdat door erfdeling De Vijf Eiken eigendom werd van Adriana Hoevenaars, wiens zoon Adriaan en zijn vrouw daar herbergier, bierbrouwer en landbouwer werden. Van der Maade verhuisde naar de Kerkstraat in Rijen. In de negentiende eeuw kwam er een nieuwe rijksweg van Breda naar Tilburg en in 1863 werd de spoorlijn tussen deze plaatsen geopend. De Vijf Eiken lag toen niet meer aan een drukke handelsweg. De brouwerij werd rond 1900 gesloten, maar het café bleef. De eigenaar was vanaf 1900 Johannes van den Heuvel, de directeur van de steenfabriek, die er bijna naast lag. Hij verhuurde het café en de grond die erbij hoorde gebruikte hij voor leemwinning. In 1939 kocht Josephus Wouters het café. Op 30 juli 1943 ontplofte bij de overweg bij De Vijf Eiken een munitietrein met als gevolg dat het hele pand afbrandde. Na de oorlog is het opnieuw opgebouwd en als café-boerderij voortgezet. Vanaf 2000 is A. Nooren de nieuwe eigenaar. Van het café heeft hij een café-restaurant gemaakt. De boerderij is nu onderdeel van de door hem daar aangelegde manege.
De vijf eiken staan er niet meer, maar wel een monumentale zomerlinde.