Deze situatie heeft meer dan tachtig jaren zo voortgeduurd met een korte onderbreking in de laatste oorlogsjaren. Het gebouw werd toen gevorderd door de Duitse Weermacht die veel soldaten in Elsen had gelegerd. De kerkbanken werden opgestookt in de kachel. Alleen het orgel bleef in tact. Na de oorlog word, dankzij een legaat, het gebouw grondig gerenoveerd, heringericht en voorzien van een aangebouwde consistoriekamer.
In 1983 is er opnieuw een verbouwing en herinrichting. Bij deze verbouwing word ook het schuurgedeelte van het gebouw bij de kerk aangetrokken.
In 1989 word het hele gebouw van de gemeente Markelo aangekocht door de Hervormde Gemeente van Rijssen en geheel gerenoveerd.
