Met collega Petrus de Hasque komt Wolff in 1816 naar Culemborg. Een stad waar een krappe meerderheid van de bevolking katholiek is. De jezuïeten staan bekend als de 'stoottroepen van de paus'. De protestanten moeten worden bekeerd tot het enige ware geloof. Door de activiteiten van de paters ontstaat wrijving tussen de Culemborgse katholieken en protestanten, die tot dan toe vreedzaam samenleefden.
Binnen enkele jaren na de komst van de paters hebben de katholieken al een nieuwe kerk en een eigen kerkhof. Bovendien krijgt Culemborg een priesteropleiding. In 1857 wordt deze ondergebracht in het indrukwekkende nieuwe seminariegebouw. Hiervoor moeten alle bestaande gebouwen in de Papenhoek wijken, behalve de katholieke kerk natuurlijk.
