De oudste vermelding van kasteel Bruinenburg dateert uit 1614. In dat jaar, op 16 april, draagt Joffrou Geertruit Pynsen van der Aa Bruinenburg over aan Jonker Walraven van Weerdenborgh. Het bevond zich op de plaats van de huidige woning van wethouder Gijs de Kruif (Ekris 74). Museum Flehite heeft een tekening (met vermelding Bruijnenburg bij Groenewou) in bezit van het complex van een aantal aan elkaar grenzende gebouwen met een toren, gedateerd 1613.
Er is ook nog een tekening beschikbaar die meer details vertoont maar waarvoor de tekening anno 1613 duidelijk model heeft gestaan.
Schenking aan de kerk
In 1713 komen we op 13 augustus weer een Van Weerdenburg tegen, namelijk Vrouwe Mechteld van Weerdenburg, Vrouwe van Bruinenburgh; zij draagt het goed over aan Jonkheer Trajectimus Boll, schepen van de stad Utrecht. Mechteld was ook de schenkster van de twee avondmaalsbekers aan de kerk .
In 1774, dus 73 jaar later, wordt het huis door de erfgenamen van Jonkvrouwe Sandrina Megteld Boll en Jonkheer Godart Ansem Boll van Bruinenburg overgedragen aan Jonkvrouwe Anthonia Jacoba van Leenen. In deze acte wordt echter over een hofstede gerept, 'voorheen geweest de Oudadelijke Huyse Bruinenburg'. Aan de hand hiervan kan worden opgemaakt dat het kasteel tussen 1701 en 1774 is gesloopt.
De hofstede is op 24 november 1944 door de Duitsers in brand gestoken uit wraak voor het opblazen door de ondergrondse strijders van een bruggetje in de daarachter liggende voormalige spoorlijn.