In 1901 begon Gerrit van den Brand met enkele vrienden een postduivenvereniging in Rijen. Ze noemden de club P.V. Het Zuiden. Ze namen met andere postduivenverenigingen deel aan wedvluchten. Oorspronkelijk kwam de club in café van der Horst tegenover de kerk bij elkaar, later in café Nooten in de Stationsstraat.
In 1980 scheidden enkele leden zich van de club af en begonnen een eigen vereniging: P.V. De Vredesduif. Deze club heeft maar zes jaar bestaan. P.V. Het Zuiden is nog enkele keren van locatie veranderd, maar had vanaf 1997 een clublokaal op het terrein van de voormalige steenfabriek De Vijf Eiken.
Tijdens de Tweede Wereldoorlog lag de duivensport in opdracht van de Duitsers stil.
In december 2014 is P.V. Het Zuiden opgeheven; de club had te weinig leden. De vereniging is samengegaan met een Oosterhoutse postduivenvereniging.