Het verhaal gaat dat keizer Karel V in 1545 aanwezig was bij een heksenproces in Polsbroek. Een manier om een heks - en dat kon zowel een man als een vrouw zijn - te herkennen was om de persoon te wegen. Je kon tenslotte niet te zwaar zijn, anders werd het onmogelijk op een bezemsteel het luchtruim te kiezen. Het verhaal gaat dat corrupte waagmeesters weleens tot de slotsom kwamen dat een iemand te licht was, tenzij er enige goudstukken van eigenaar waren gewisseld. Karel vermoedde dat in Polsbroek ook sprake was van valse intenties en liet de veroordeelde vrouw opnieuw wegen in Oudewater. Daar bleek ze een normaal gewicht te hebben en werd vrijgesproken. Als beloning gaf Karel toen de waag in Oudewater het privilege om als heksenwaag te dienen.
Of het verhaal over Karel V helemaal klopt, is onduidelijk. Het privilege dat hij uitgaf, is niet gevonden. In Polsbroek stond ook geen waag, dat was in IJsselstein. Wat wel bekend is, is dat van heinde en verre mensen naar Oudewater kwamen om een certificaat te verkrijgen dat ze van een normaal gewicht waren. Dat was een manier om aan te tonen dat er van hekserij geen sprake kon zijn.
Het huidige gebouw is van 1595, de waag die Karel V bezocht werd namelijk dertig jaar later door de Spaanse troepen van zijn zoon, Filips II, vernietigd. Wel hangt het wapenschild van Karel V op de voorgevel. De waag bleef tot in de achttiende eeuw als heksenwaag in gebruik.