Restanten van het huis te Riviere zijn nog te vinden aan de Broersvest. Het kasteel is tussen 1262 en 1277 gebouwd door Aleida van Holland. Oorspronkelijk stond er alleen een donjon (woontoren) waarin een tolhuis zat; het heffen van tol was een belangrijke bron van inkomsten. Aleida liet het uitbouwen tot, op de grafelijke burcht in Den Haag na, het grootste kasteel in Holland. De afmetingen van het huis laten wel zien dat Aleida grote politieke ambities had. De ligging was ook strategisch. Het kasteel lag op de (grafelijke) reisroute Den Haag-Schiedam-Brielle (zetel van de burggraven van Zeeland) -Zierikzee (het grafelijk administratiepunt voor Zeeland). Het conflict met de graven van Vlaanderen om Zeeland was een van de (belangrijkste) redenen om een kasteel te bouwen. Haar bezittingen in Holland waren ook vooral geconcentreerd in Schieland en Delfland en het kasteel diende mogelijk als administratief beheerscentrum van haar goederen.
Met zijn vierkante vorm was het kasteel een bouwkundig novum. Tot de jaren zeventig van de dertiende eeuw was het in Holland namelijk gebruikelijk om ronde burchten te bouwen, maar Aleida werd als vrouwe van Henegouwen waarschijnlijk geïnspireerd door de vierkante kastelen in Zuid-Nederland en Frankrijk. Hoewel het niet met zekerheid valt vast te stellen, wijst de aanwezigheid van een kapel en bewoonbare ruimtes erop dat zij op het kasteelcomplex woonachtig was.
In 1339 werd het huis te Riviere in leen uitgegeven door graaf Willem IV van Holland aan Dirk van Mathenesse. Tot de slechting van het kasteel in de eerste jaren van de reformatie bleef huis te Riviere in leen van de familie Mathenesse, daardoor staat het ook wel bekend als kasteel van Mathenesse.
Eind zestiende eeuw werd het kasteel verwoest en bleef alleen een ruïne over. Vanwege de bouwvalligheid zijn later delen gesloopt en nu rest alleen nog de ruïne van de donjon.
