Jacob Carel Martens en Jacoba Constantia Godin trouwden in 1736. Tussen 1737 en 1751 kregen zij zeven kinderen. Ongelukkig genoeg stierven beide echtelieden kort na elkaar, voor hun kroost meerderjarig was. Die grens lag toen op 25. Voor een vooraanstaande familie was dit een groot risico: het vermogen kon aangetast worden en vader kon zijn zoons niet op gang helpen bij hun politieke loopbaan. In dit geval viel de schade mee. De voogden zorgden goed voor het vermogen, al verkochten zij wel schilderijen.
Het huis werd aanvankelijk verhuurd, maar in 1770 trokken de zes kinderen die nog in leven waren erin. Zij bleven bij elkaar tot de jongste broer David Johan op zijn 39ste alsnog trouwde en een eigen huis betrok. Hij en zijn broers bekleedden ook politieke ambten.
Uit de kasboekjes van een van de zussen is het leven in het huis aan het Janskerkhof goed te reconstrueren. De levensstijl kenmerkte zich door soberheid. Het uitgavenpatroon was eigenlijk beneden de stand van een regentenfamilie. Zo bezaten de Martensen geen eigen koets, maar huurden een wagentje wanneer zij uitgingen. De soberheid hing waarschijnlijk samen met de godsdienstige overtuigingen van de broers en zussen. Zij waren actieve leden van de hervormde kerk en hadden een innige geloofsbeleving. De zuinigheid was achteraf gezien heel verstandig. De familie kwam de Bataafs-Franse tijd (1795-1813) goed door. Belastingmaatregelen en waardevermindering van effecten troffen de elite zwaar en families die minder zuinig waren, konden in ernstige moeilijkheden komen.