De latere kastelen, meestal ook nog voorzien van een gracht, werden gebouwd voor riddermatige families om een belegering te kunnen weerstaan. Voorbeelden in Voorschoten zijn Ter Horst, Santhorst, en Duivenvoorde. Ze waren in bezit van de Heren van Wassenaer en hun nakomelingen, die hier gronden in leen hadden van de Graaf van Holland. Weer later in de middeleeuwen lieten rijke burgers in Voorschoten eenvoudigere, versterkte huizen bouwen met een omgrachting, zoals Ter Lips, Roucoop, en Adegeest. Buiten de gracht was dikwijls een bijbehorende boerderij met moestuin en boomgaard.
De Starrenburg
De Starrenburg, het oudst bekende kasteel in Voorschoten, was waarschijnlijk een ringwalburcht. Het stond aan het eind van een laan, die nu de Wilgenlaan heet. De Starrenburg was bezit van het geslacht Van Voorschoten, dat al aan het begin van de 13e eeuw naar Schieland was verhuisd. De Starrenburg, dat in de Starrenburgerpolder lag, is vermoedelijk al in het begin van de 14e eeuw afgebroken.
Ter Horst
Ter Horst was eigendom van het geslacht Van Wassenaer. Het wordt voor het eerst in 1258 genoemd als Dirk van Wassenaer er een oorkonde afgeeft. Het kasteel is gesticht op een hoger gelegen uitloper van een strandwal als versterkt mottekasteel. Dit kasteel is tijdens de Hoekse en Kabeljauwse twisten in de periode tussen 1393 en 1420 tweemaal verwoest, en voor zover bekend daarna nooit meer door de Van Wassenaers bewoond. Na het uitsterven van dit geslacht is Ter Horst in 1615 verkocht aan Pieter Gerritsz. van Ruytenburch. Zijn schoonzoon, Reynier Pauw, verbouwde het kasteel rond 1631 tot landhuis in de stijl van de renaissance met een omringend park in formele stijl. Het landhuis werd in de volgende eeuw door de diverse eigenaren verfraaid. Buiten de omgrachting waren een ommuurde moestuin en diverse bouwwerken, waaronder de nog bestaande 18e-eeuwse oranjerie met koetshuis en tuinmanswoning. Ter Horst werd in 1836 verkocht aan Prins Frederik der Nederlanden.
Duivenvoorde
Duivenvoorde is het enige nog bestaande kasteel in Voorschoten. Duivenvoorde werd waarschijnlijk omstreeks 1215 gebouwd als donjon en woontoren. Het was geen groot gebouw, ongeveer tien bij vijf meter. Het is daarna verschillende keren verbouwd. Het had een aangebouwde traptoren, en er liep een gracht omheen. De huidige vorm kreeg Duivenvoorde grotendeels in 1631. De eerste bewoner was Philips van Wassenaer, de tweede zoon van de stamvader van het geslacht Van Wassenaer. Hij ging zich, zoals te doen gebruikelijk, naar zijn huis noemen, en werd daarmee de stamvader van het geslacht Van Duvenvoirde. Vanuit Duivenvoorde is o.a. Santhorst gesticht.
Rosenburgh
Rosenburgh wordt voor het eerst genoemd omstreeks 1282. In 1308 had Jan van Rosenburgh het kasteel in leen van zijn neef Dirk van Wassenaer. Mogelijk is ook dit kasteel tijdens de Hoekse en Kabeljauwse twisten verwoest. Aan Rosenburgh waren de inkomsten van de tienden (belasting) van de Donk verbonden. Het landgoed werd na het uitsterven van het geslacht Van Wassenaer, in de eerste helft van de 17e eeuw, verkocht. Na een ingrijpende modernisering in 1723, een ontwerp van Daniel Marot, werd het huis omstreeks 1730 alweer afgebroken. Eén van de kasteelboerderijen (Rosenburghlaan 1) is bewaard gebleven.
Ter Lips
Ter Lips dankt zijn naam vermoedelijk aan de in de 9e eeuw genoemde Lippinge in het register van de Maartenskerk. In 1368 wordt het in stukken van de grafelijke leenkamer van Holland aangeduid als een stuk land genaamd Lips. Pas in 1412 is sprake van een woning, Lips geheten, die door een zekere Dirk van Hoogstraat van de graaf in leen wordt gehouden. In 1499 wordt Ter Lips gekocht door Jacob van Wijngaarden. Ter Lips is in 1744 afgebroken.
Roucoop
Roucoop, ook wel Huis te Middelgeest, wordt voor het eerst in 1468 genoemd toen Dirk Pietersz van den Bosch eigenaar was. De oudste afbeelding uit de 17e eeuw laat een middeleeuws versterkt huis zien, dat gezien de grote ramen al enigszins gemoderniseerd is. Vanaf de 17e eeuw ontwikkelde Roucoop zicht tot een buitenplaats met een formele tuinaanleg, lanen, vijvers, boomgaarden, en moestuinen tot aan de Vliet. Eigenaren waren leden van de Leidse regentenfamilie Cuaneus (1667–1809). De familie liet uiteindelijk het buiten en de omringende boerderijen veilen, waarna het buiten omstreeks 1820 afgebroken werd. Wel is één van de kasteelboerderijen nog bewaard gebleven, Essenlaan 3–7 (Oud Woelwijck), net als een deel van de slotgracht en de vaarsloot richting Vliet. Na de afbraak van het oude kasteel was hier nog enige tijd een nieuw, kleiner landhuis ‘Klein Roucoop’, maar ook dat pand, een rijksmonument, is gesloopt in 1975.
Adegeest
Adegeest zou volgens een 17e-eeuwse kroniek in 1222 in bezit zijn geweest van Dirk van Wassenaer. Er zijn echter geen archiefbronnen die dit kunnen bevestigen. De oudste vermelding van Adegeest dateert uit 1395, als Dirk van den Bosch het in bezit heeft en in leen opdraagt aan de Graaf van Holland. In de 16e eeuw is Adegeest al niet meer dan een bouwmanswoning in bezit van het geslacht Van Leeuwen. Er zijn wel 17e-eeuwse afbeeldingen bekend die het Adegeest kasteel weergeven, maar die zijn aan de fantasie ontsproten. In de tweede helft van de 18e eeuw was Adegeest een buitenplaats met een vroeg landschappelijk park en uitgebreide moestuinen. Ongeveer een eeuw later werd het huis terug gebracht tot kleinere proporties en viel het terug op agrarisch gebruik, een boerderij nu Bachlaan 20 en 22.
