Al aan het einde van de 19e eeuw stond er aan de Oosterhoutseweg in Rijen een herberg, die De Vijf Eiken heette. Maar toen in juli 1943 een munitietrein ter hoogte van deze herberg ontplofte brandde zowel de boerderij als het café helemaal af. Er kwam daardoor toen een einde aan de bijeenkomsten van verschillende verenigingen; ook gebruikte architect Ad Aarts het café tot die tijd bij aanbestedingen.
In 1947 werd het café met boerderij opnieuw gebouwd; het ontwerp van architectenbureau K. van de Biggelaar had een H-vormige plattegrond. Het pand werd gebouwd volgens traditioneel Delftse schoolstijl. Voorin kwam het cafégedeelte en woonhuis, in het tussengedeelte een waskeuken en opslagruimte en van het achterste gedeelte was een stal gemaakt.
In 2000 is deze stal bij het horecagedeelte getrokken; het woonhuis is toen bij het café getrokken en van het geheel is een café-restaurant gemaakt.
Het pand staat met de lange kant aan de Oosterhoutseweg; de zijgevels zijn klokgevels.
In het schilddak van de oude stal is aan de westkant (achterkant) in donkergrijze pannen de tekst Vijf Eiken aangebracht.
Het voorste gedeelte van het pand, het café-restaurant, hoort tot de gemeentelijke monumenten.