In 1926 werd naast de Maria Magdalenakerk in Rijen een nieuwe pastorie gebouwd.
Het gebouw werd ontworpen door architect A. Zoomen uit Oosterhout. De fundering van de eerdere pastorie werd gebruikt voor de nieuwbouw.
In het begin van de zeventiger jaren van de twintigste eeuw verkocht de parochie het pand aan de gemeente. Die bracht er de muziekschool in onder, totdat die in 1985 naar Cultureel Centrum De Boodschap verhuisde. Sinds die tijd is de pastorie weer eigendom van de parochie en doet het pand dienst als parochiecentrum. De pastorie is één van de 26 rijksmonumenten in de gemeente.