In de middeleeuwen hadden de vestingwerken Delft tot een goed verdedigbare en veilige stad gemaakt. In 1572 was vanwege de oorlogsdreiging de vesting versterkt met verschillende bastions. Hoewel de verdedigende functie van wallen en torens in de eeuwen daarna verminderde, bleef de stad beschermd door de oude vestingwerken. De stadspoorten maakten controle van de toegang tot de stad mogelijk. Na het vertrek van de Fransen en de stichting van het Koninkrijk der Nederlanden in 1813 was bepaald, dat een aantal steden, waaronder Delft, geen actieve functie meer hoefde te vervullen in het defensiesysteem van het land. In de eerste helft van de negentiende eeuw was Delft een verarmde en verwaarloosde stad. De achteruitgang van de nijverheid, die in de achttiende eeuw was ingezet, zette door in de Franse tijd. Het aantal inwoners was sterk gedaald en jarenlang was er geen geld besteed aan het onderhoud van publieke werken. Het stadsbestuur besloot de verdedigingsgordel af te breken. Het geld ontbrak om de oude muren en poorten te herstellen en te onderhouden. Bovendien stonden de vestingwerken verbetering van de infrastructuur in de weg. Ook bestond er weinig waardering voor de historische bouwwerken.
Enkele jaren na de afbraak van de Schoolpoort volgde de verkoop van de Rotterdamse en Schiedamse poort. Naast de bouwvallige staat werden als redenen genoemd, dat het stadsbestuur de zuidelijke toegangsweg wilde verbeteren en de brug tussen Achterom en Lange Geer wilde vernieuwen. ‘De capitaelste poort van gansch Nederlandt’, zoals Dirck van Bleyswijck de Waterslootse poort noemde, werd in 1847 afgebroken. De kosten voor restauratie achtte men te hoog en men zag geen functie meer voor het gebouw. De Koepoort en een gedeelte van de vest moesten in 1861 wijken voor het plan om ’ordentelijke huizen voor de burgerstand’ te bouwen tussen het einde van de Nieuwe Langendijk en het Rietveld. In 1862 adviseerde de stadsarchitect de afbraak van de Haagse en Wateringse poort. Hij vond weliswaar de poorten geschikt voor bewoning en opslag, maar hij zag geen schoonheid of historische waarde in de gebouwen. Zij maakten bovendien de toegang tot de stad eng en bekrompen.
En zo bleef alleen de Oostpoort behouden. Het verkeer richting Delfgauw en Pijnacker was minder intensief en de poort vormde daarvoor geen grote belemmering. Bovendien prees de gemeenteraad ‘het bevallig uiterlijk’ van deze stadspoort. Van oudsher was het randgebied buiten de stadswallen geliefd als recreatiegebied. Vooral in de achttiende eeuw ontwikkelde de buitenrand van de stad zich tot een wandelgebied met uitspanningen en tuinen. In 1836 schreef de gemeente een prijsvraag uit om de vestingwerken om te vormen tot een ‘lusthof ’. De bekende landschapsarchitect J.D. Zocher ontwierp wandelpromenades langs de stadsranden met slingerende paden en verrassende uitzichten. Van het plan werd, waarschijnlijk wegens geldgebrek, niets gerealiseerd. De ruimte die vrijkwam door het afgraven van de wallen werd grotendeels gebruikt voor de bouw van herenhuizen, geliefd vanwege de fraaie ligging buiten de overvolle, vervuilde binnenstad.
