Het gebied rond de Janskerk behoorde in de Middeleeuwen tot de immuniteit van St. Jan, het gebied dat het kapittel behoorde. Na de invoering van de Reformatie in 1580 verloren de kapittels hun geestelijke functie en kwamen de immuniteiten beschikbaar als bouwgrond. Rond 1660 werd de noordzijde van de voormalige immuniteit van St. Jan bebouwd met onder andere de Boothstraat.
De Utrechtse patriciër Johan van Nellesteyn was een van de investeerders. Hij was voogd over twee weesmeesjes, Aletta en Hillegonda Pater, dochters van oud-schepen Jan Pater. Hij liet voor hen twee vrijwel identieke huizen bouwen, nu Janskerkhof 15 en 16. Hij trouwde met Hillegonda en betrok haar huis. Bij de bouw was de bekende architect Gijsbert Thönisz van Vianen betrokken. Hij zou later de verwoeste westgevel van de Janskerk opnieuw optrekken. De huizen die in opdracht van Van Nellesteyn werden gebouwd, waren luxueus en modern. Zij waren bijvoorbeeld afgewerkt met natuursteen, de schoorstenen zelfs met marmer.
Aletta was bijzonder geïnteresseerd in de inrichting van haar huis en liet het decoreren met goudleer behang en schilderijen. Zij zorgde ervoor dat haar ongehuwde zoons er konden blijven wonen. Na hun dood kwam het in bezit van hun neefje Jacob Carel, de zoon van hun broer Jacob. Hij liet het huis verfraaien. Toen Jacob Carel en zijn vrouw kort na elkaar overleden, kregen hun zeven kinderen het huis. Het huis werd tot 1770 verhuurd, waarna de erfgenamen er in trokken. De ongehuwden bleven er tot de dood van de laatste zus in 1831 wonen. Het huis werd geërfd door hun neefje Jacob Constantijn. Deze begon meteen met een grootscheepse verbouwing.
Jhr. J.C. Martens van Sevenhoven huurde stadsbouwmeester F.C.E. van Embden in, die onder meer betrokken was bij de restauratie van de Dom. Van Embden betrok het buurpand bij de verbouwingen en wist van Janskerkhof 16 een ruim en modern huis, geschikt voor ontvangsten. De feesten in huize Martens stonden hoog in aanzien. Met zijn levensstijl brak deze Martens volledig met de soberheid van de vorige generaties. Het huis was zo luxe dat het in de fiscale top tien van Utrecht kwam. Na de dood van Jacob Constantijn bewoonde zijn neefje Jan Louis Anne het huis. Hij liet het opnieuw moderniseren. De laatste generaties hielden Janskerkhof 16 slechts aan als pied-à-terre. In 1944 werd de benedenverdieping geschikt gemaakt als kantoorruimte. De bovenverdieping diende als verblijf voor de familieleden wanneer zij Utrecht bezochten.