Het ontstaan van de naam blijft mysterieus. Het gebied is een deel van de 40 hoeven van het Westerwoud, waarvan de oostelijke grens dwars door Voskuilen ligt. De eerste kampontginningen rondom eenvoudige boerderijen hebben waarschijnlijk al in de 11e eeuw plaatsgevonden.
In 1392 wordt melding gemaakt van Groot-, Midden- en Klein Romselaar. Ook uit die tijd dateren het Nattegat, 't Plaatsje, Droffelaar, Groot Sniddelaar, 't Erf, Cothenberg, Oud-, Groot- en Klein Voskuilen.
Vanaf 1794 wordt binnen een periode van 25 jaar een groot aantal boerderijen aan particuliere nieuwe eigenaren verkocht. De overige boerderijen waren al in eigendom van de bewoners overgegaan.
Geheel Voskuilen behoorde oorspronkelijk bij Woudenberg. Het gebied kenmerkt zich door de vele percelen die door houtwallen en singels worden omzoomd. Tot 1900 was de schapenteelt erg belangrijk. De knollen, bieten en het graan zorgden voor de basis van het inkomen van de boeren. Vrijwel elke boerderij heeft bijenvolken en in de loop van de twintigste eeuw komen de kippenhokken in zwang.
In 1874 koopt Godert Jan, baron van Hardenbroek tot Ammerstol, burgemeester van Leusden en Stoutenburg, een perceel grond op Voskuilen dat hij later belangrijk uitbreidt. Zijn zoon Gijsbert Carel Duco, baron van Hardenbroek (een marineofficier), koopt in de jaren daarna in totaal meer dan 100 hectare land. Het Landgoed Voskuilen wordt een feit wanneer Gijsbert Carel het land in 1902 van zijn vader erft en er samenvoeging plaatsvindt.