Het Twaalfjarig Bestand
Ook kasteel Duivenvoorde behoorde tot de Wassenaerse grafelijke lenen. De laatste mannelijke Van Wassenaer die het kasteel en de ambachtsheerlijkheid van Voorschoten in leen had was Jan II van Wassenaer (1483–1523). Toen hij stierf bij het beleg van Sloten, liet hij twee dochters na, Maria en Margaretha, die eigenlijk als vrouw geen leen mochten houden. Maar omdat de Van Wassenaers Karel V trouw in de krijg gediend hadden, kreeg Maria (Margaretha was overleden) toestemming de lenen te erven. Zij huwde een Zuid-Nederlandse edelman, Jacques de Ligne. Na de scheiding van de Noordelijke en de Zuidelijke Nederlanden in 1579 bij de Unies van Atrecht en Utrecht, kwamen de loyaliteiten anders te liggen. Bezittingen in de Noordelijke Nederlanden van Zuid-Nederlanders die trouw zwoeren aan het Spaanse bewind, werden geleidelijk in beslag genomen om uiteindelijk verbeurd verklaard te worden, zo ook de Wassenaerse lenen. Tijdens het Twaalfjarig Bestand konden de rechtmatige eigenaren weer beschikken over hun eigendom, maar na afloop van het bestand zouden de aanspraken weer vervallen. De kleinzoon van Jacques, Lamoral de Ligne benutte daarom het bestand om zijn bezittingen in de Noordelijke Nederlanden te verkopen. De Wassenearse tol ging naar de Staten van Holland (1616), Ter Horst en Schakenbosch naar de Heer van Vlaardingen en de Ambachtsheerlijkheid Voorschoten in 1615 naar Johan van Wassenaer van Duvenvoirde. Deze had al in 1613 zijn visrechten op de Vliet verkocht aan Leidse burgers om het benodigde geld bijeen te brengen.
Ook juridisch zelfstandig
In oktober 1615 werd Johan van Wassenaer van Duvenvoirde niet alleen eigenaar van de Ambachtsheerlijk Voorschoten, maar werd hij door de leenkamer van Holland ook beleend met de hoge heerlijkheid. Dat gaf hem – behalve de bestuurlijke bevoegdheden – met name ook de hoge jurisdictie, waardoor Voorschoten bestuurlijk en juridisch een zelfstandige ‘gemeente’ werd, waar een eigen baljuw recht mocht spreken. Van Wassenaer in zijn nieuwe aanzienlijk verbeterde functie met veel meer aanzien, liet als teken van zijn gezag direct een galg plaatsen langs de Scheisloot op de grens met Wassenaar. En na twintig jaar zelfstandigheid volgde uiteindelijk als bekroning een eigen Ambachts- en Baljuwhuis (1634–1635).