De Hollandse edelman Willem van Duivenvoorde (1290-1353) trouwde met Heilwich van Vianen. Als bastaardzoon leek hij minder bezwaar te hebben tegen de geldhandel dan andere edellieden en door beleggingen in de zoutindustrie vergaarde hij veel kapitaal. Hij bouwde onder meer een kasteel bij Geertruidenberg en wist een goede relatie op te bouwen met de graaf van Holland. Die poogde gebieden aan de grenzen van zijn tegenstrever, de bisschop van Utrecht, in handen te krijgen. Dat deed hij door erfdochters zoveel mogelijk te koppelen aan aanhangers van Holland: dat was de reden dat Willem met de erfdochter van Vianen huwde.
Willem zag mogelijkheden om Vianen tot vesting op te bouwen en als handelscentrum een geduchte concurrent voor Utrecht te worden. Daarom verleende hij de inwoners het recht om markten te houden, gaf hij ze vrijheid van tol in Holland, Zeeland en West-Friesland en erkende hij de stadsvrijheid. Hij ging nog verder: hij ontwierp persoonlijk de verdedigingswerken als muren, grachten en poorten, legde een stratenpatroon uit en bouwde de kapel bij het oude kasteel uit tot parochiekerk.
In 1330 kocht hij het nabijgelegen Hagestein aan, waarschijnlijk om het grondgebied van Vianen uit te breiden. Om onbekende redenen deed hij Hagestein later weer van de hand. Willem raakte verzeild in de Hoekse en Kabeljauwse twisten, wat voor Vianen verkeerd had kunnen aflopen, toen Willem de verliezende partij steunde. Gelukkig was de stad officieel het erfdeel van Heilwich en bleef de ondergang van Willem voor de stad zonder gevolgen.