Ursprünglich war Grafenwald ein Teil der Bauernschaft Holthausen mit einigen wenigen Gehöften.

1240 tritt das Gebiet des heutigen Grafenwald zwar zum ersten Mal ins Licht der Geschichte: auf dem Gut Deffth, das im Gebiet der heutigen Straße „Sensenfeld“ lag, siedelte sich ein Frauenkloster des Zisterzienserordens an. Erst 1823 taucht „Grafenwald“ als eine Bezeichnung für den südlichen Teil Holthausens im Kirchhellener Urkataster auf.

Denn der stark bewaldete Teil des Bezirks Holthausen mit dem ursprünglichen Namen Voss-Sundern war 1733 als Lehen von der Abtei Werden an die Grafen von Merveldt und Nesselrode gegangen. So begann man in der Bevölkerung vom „Wald des Grafen“ zu sprechen.