Een donjon is een grote, zware vierkante toren waar je in kunt wonen. Achter de zware muren zijn de bewoners veilig. Jan, die de baas is over Heusden woont er een poosje. Later gaat de familie Van der Dussen er wonen. Tja, wat wil je met zo’n naam … De familie Van der Dussen is een machtige familie. Arent van der Dussen wordt zelfs benoemd tot baljuw van Zuid-Holland. Als de graaf niet in de buurt is, heeft Arent het voor het zeggen. Als Arent baljuw wordt in 1387, gaat hij de donjon vergroten en verbouwen tot een echt kasteel. Want met alleen een woontoren stel je als baljuw niet zoveel voor. Het kasteel krijgt de omtrek die het vandaag nog steeds heeft.
Het kasteel wordt zwaar beschadigd door de Sint-Elisabethsvloed, de grote watersnoodramp in 1421. Als de grond weer droogvalt, wordt de Kornse dijk aangelegd. Dan is het weer veilig om in de omgeving van Dussen te wonen. De muren van de ruïne van het kasteel worden door bewoners van Dussen gebruikt om hun huizen weer op te bouwen. Het duurt nog een hele poos voordat het kasteel weer opgeknapt wordt. Verschillende families en edellieden zijn er de baas. In 1573 werd het kasteel ingenomen door de Spanjaarden en uiteindelijk zwaar beschadigd achtergelaten. Daarna komt het in bezit van Walraven baron van Gendt. Hij vindt het kasteel maar een beetje saai Hollands. Hij is gek op de bouwkunst van de oude Grieken en Romeinen. In Italië heeft hij prachtige bouwwerken gezien en zoiets wil hij ook voor zijn kasteel. De kasteelheer laat een Toscaanse zuilengang naar Italiaans voorbeeld in kasteel Dussen maken. De binnenplaats van het kasteel krijgt zo een buitenlands tintje. In de gevelsteen boven de deur van het kasteel zie je nog steeds het jaartal 1609 staan. Toen was het bouwwerk klaar. Helaas voor de baron had hij zoveel geld uitgegeven, dat hij het kasteel moest verkopen.
Rond 1900 komen nonnen uit Frankrijk in het kasteel wonen. Speciaal voor deze vrouwen wordt er aan de oostkant van het kasteel een kapel boven het water gebouwd, met een loopbrug over de gracht. In 1920 gaan de nonnen terug naar Frankrijk. Het kasteel wordt dan verkocht aan de familie Suringar. De familie gaat er zelf niet wonen, maar laten er een heel bijzondere tante onderbrengen, ver weg van de bewoonde wereld. Het lijkt erop dat de familie Suringar tante Rolina goed wil ‘opbergen’. Helemaal in je eentje in zo’n kasteel wonen is natuurlijk niet echt gezellig. En als het ’s avonds donker wordt, is het eigenlijk ook best wel eng. Rolina Suringar laat zich daarom ’s nachts door zes mannen bewaken. Een van die mannen heet Hendrik Simon Boogaarts. Hij wordt tot over z’n oren verliefd op het dienstmeisje van Rolina. Ze heet Mechalina van Culemborg, maar iedereen noemt haar Lien. Als Rolina plotseling sterft, staat het kasteel leeg. De zes slapers worden naar huis gestuurd. En ook voor Lien is er geen werk meer op het kasteel. Samen met Hendrik gaat ze tegenover het kasteel wonen in een met riet gedekt huisje.
Het kasteel wordt te koop gezet. ‘Het is rijp voor de sloop’, zeggen sommige mensen. Gelukkig denkt de gemeente Dussen daar anders over. De gemeente koopt het kasteel voor 15.000 gulden. Door de Tweede Wereldoorlog (19401945) en de watersnoodramp van 1953 duurt het tot 1954 voordat het kasteel officieel geopend wordt als gemeentehuis. In 1998 verhuizen de ambtenaren naar het nieuwe gemeentehuis in Werkendam. Wel fijn zo’n modern gebouw, maar heel veel mensen missen de romantiek van kasteel Dussen, met zijn oude kelders, torens en kasteeltuin. Gelukkig kun je er nog altijd een kijkje nemen, want het kasteel is nu een museum. En in het huisje er tegenover leefden Hendrik en Lien nog lang en gelukkig!