Al in 1661 stond er op de plek waar nu Kerkstraat 107 is, een familieboerderij van de familie De Swart die steeds van vader op zoon overging. Uit overgebleven papieren blijkt dat er in 1706 ook een herberg in zat die het ene jaar beter liep dan het andere. Daarom kwam de aanduiding herberg niet altijd voor in de papieren. Dat is wel het geval vanaf 1826. Cornelis de Swart-Haneveer was toen de eigenaar, en vanaf 1839 zijn zoon Cornelis, van ‘Herberge In den zwaan’. Maar het was wel nodig om ook een ander vak uit te oefenen. Van het herbergiersbestaan kon Cornelis niet leven. Hij was ook bouwman (boer) en had bij de boerderij een bakkerij. Maar toch kon hij in 1857 zijn schulden niet voldoen. De boerderij en de erbij horende grond werd aan Adriana Genet verkocht, de huishoudster van de pastoor. Cornelis de Swart bleef er als huurder wonen. Twee maanden later moest er weer een openbare verkoop van het pand plaatsvinden, want Adriana Genet was inmiddels overleden. De pastoor pleitte ervoor dat het kerkbestuur het pand zou kopen voor de religieuzen van Gilze. Maar dat ging niet door. Nieuwe eigenaar werd Cornelis Raaymakers, een wagenmaker. Naast het werk in zijn wagenmakerij zette hij de herberg voort. En dat deed vervolgens ook zijn zoon Adriaan Raaymakers. In 1897 werd in deze herberg handboogschutterij De Romeinen opgericht. Ook de fietsclub De Kettinggangers en de vrijwillige brandweer waren er thuis. Adriaan overleed in 1923 na een ongeluk. Even nam zijn weduwe het café over, maar daarna werden de dochter van Adriaan Raaymakers en Harrie Donders (die de wagenmakerij al had overgenomen) de cafébazen. Zij noemden het café De Speek. In 1965 sloten ze het café.