Op de plek waar de weg van Bunschoten naar Baarn de rivier de Eem kruiste, liet Zweder van Uterloo, die in 1347 als plaatsvervanger van de bisschop fungeerde, een kasteel bouwen. Dit gebeurde tijdens een korte wapenstilstand in de strijd met de graaf van Holland, die graag in het noorden van het Sticht zijn macht wilde uitbreiden. De plek van het kasteel was strategisch van groot belang. Zweder schoot het geld voor de bouw voor, maar toen de bisschop dat na zijn terugkeer niet bleek te kunnen terugbetalen, mocht Zweder het kasteel een tijdlang in bezit houden. Toen de bisschop eindelijk voldoende fondsen had verzameld, bleek Zweder niet langer bereid het kasteel aan zijn heer over te dragen.
Zweder begon een guerilla-oorlog in de omgeving om de bisschop er van te weerhouden het Huis ter Eem in te nemen. De stad Utrecht echter steunde de bisschop en tegen die overmacht kon Zweder niet op. Zo werd voorkomen dat Zweder vanuit zijn machtsbasis aan de Eem een eigen staatje in het noorden van het Sticht kon opbouwen. De bisschop maakte van het kasteel de ambtszetel van zijn vertegenwoordiger, de maarschalk van Eemland, die daarvoor op Stoutenburg had gewoond. Ook diende het kasteel als thuisbasis voor het schip van de bisschop, waarmee hij over de Zuiderzee het Oversticht bezocht.
In 1527 speelde het kasteel nog een belangrijke rol in de strijd met Gelre. Maarten van Rossum wist het toen te veroveren, waarna een jaar later de Bourgondiërs onder Karel V de vesting in handen kregen. Daarna verloor het Huis ter Eem zijn militaire betekenis en verviel het tot een ruïne. In 1706 werden de laatste resten gesloopt.