Das ehemalige Wohn- und Wirtschaftsgebäude der Hohenleitners, Haus Nr. 161 d, wurde 1851 an Fürst Otto von Quadt zu Wykradt und Isny verkauft. Es wurde von den neuen Besitzern in das ober Jagdhaus umbenannt. Im Jahre 1860 bauten sie das „untere“ Jagdhaus, Haus Nr. 161a, neu dazu und verbanden es durch einen Gang mit dem oberen. Beide Häuser erhielten dann später die Bezeichnung „das Schloss“.
Das alte Jagdhaus wurde ursprünglich durch unterirdische Heizkanäle von der Glashütte her beheizt. Die gewölbten Kellerräume im oberen Jagdhaus waren zur Zeit des Glashüttenbetriebes Teile der Luftkanäle vom Glasschmelzofen. Es gab außerdem aber noch einen unterirdischen Gang zwischen dem Herrschaftsgebäude und der Glashütte, in dem die Hüttenbesitzer, wetterunabhängig und ungesehen, ihre Wege zwischen dem Werk und den Wohngebäuden machen konnten. Er ist entweder eingefallen oder er wurde zugeschüttet.
Die baulichen Veränderungen an den beiden Jagdhäuser, die dem Schloss, wie es später genannt wurde, das heutige Aussehen gaben, wurden fast ausschließlich von dem Grafen Quadt veranlasst. Auch der Turm, der die beiden Häuser zusammenfügt, wurde von ihm in Auftrag gegeben. Die schlosseigene Kapelle wurde als Ersatz für die einstige Kapelle, die am Platz des später gebauten Gutsverwaltershauses stand, errichtet.
Die gräfliche Herrschaft hatte von jeher einen eigenen Zufahrtsweg zu ihrem Schloss, der nach dem Lindachbrückerl in westlicher Richtung abzweigt und entlang der Waldgrenze des Reutle, ausserhalb der Ortschaft verläuft. Dieser Weg scheint schon in der Hohenleitner`schen Glashüttenzeit bestanden zu haben.
Zur besonderen Kennzeichnung dieses Weges, und vielleicht auch zur Schattenspendung, ließ der Fürst entlang des Weges Kastanienbäume pflanzen. Allerdings nur am nördlichen und westlichen Wegrand, da das Gelände auf der gegenüberliegenden Seite nicht Eigentum der Schlossherrschaft war. So erklärt sich der Umstand, dass die Kastanienallee, wie sie genannt wurde, bis heute nur einseitig bepflanzt ist.
1893 wurde der Besitz an den Sohn Fürst Bertram von Quadt zu Wickrath und Isny übergeben. Wahrscheinlich durch die Kriegsauswirkungen und die wirtschaftlichen Kriegsfolgen war die gräfliche Familie veranlasst, sich dann von ihren Grafenaschauer Liegenschaften zu trennen. Am 17.11.1921 wurde der Kaufvertrag zwischen dem Staat Bayern (Forstverwaltung) und Fürst Otto von Quadt zu Wykradt und Isny abgeschlossen. Mit diesem Vertrag verkaufte der Graf den gesamten zum Gute Grafenaschau gehörigen Besitz an den bayerischen Staat. Ausgenommen waren das Inventar des Jagdhauses bzw. Schlosses und das Holz, das an das Dampfsägewerk Grafenaschau verkauft war.
Am 29.12.1921 verkaufte der Staat Bayern an Frau Pauline, Freifrau von Stumm, einen großen Teil des ehemaligen gräflichen Besitzes. Die Käuferin und ihre Rechtsnachfolger gewährten dem bayerischen Staat das Vorkaufsrecht für jeden Verkaufsfall. Außerdem erhielt er ein Wiederkaufsrecht. Neben Gebäulichkeiten mit den zugehörigen Nutzungsgebäuden wie Ställe, Ökonomiegebäude, Magazine, Remisen erwarb Freifrau von Stumm in Grafenaschau das Schloss, bestehend aus dem Wohnhaus mit Büro und dem Jagdhaus mit Veranda, die Wohnhäuser Nr. 162, 165, 168 und 4 ½. In Aschau die Wohnhäuser Nr. 5, 6 und 6 ½. An sie nicht mit übergeben wurden das Inventar des sogenannten Jagdhauses (Schloss), das lagernde Holz, die Akten, Bücher, Bürovorräte der früheren gräflichen Forstverwaltung und die in einer Übersicht eigens aufgeführten Möbel und Forstbetriebsgeräte.
Freifrau Pauline von Stumm, geb. von Hofmann, genannt „die Exzellenz“ war die Gemahlin des deutschen Botschafters außer Dienst Ferdinand von Stumm. Carl Ferdinand Freiherr von Stumm, Legationsrat in Neunkirchen, Sohn von Pauline, Freifrau von Stumm geb. von Hoffmann, genehmigte als Bevollmächtigter seiner Mutter am 26.1.1922 den Vertrag. Das Staatsministerium der Finanzen bestimmte dem Kaufvertrag am 2.2.1922 zu. Nikolaus Paul Wilhelm Freiherr von Stumm, Sohn von Carl Ferdinand von Stumm ist letzter Eigentümer der Grafenaschauer Besitzungen bis 1968. Ab diesem Zeitpunkt wurden die Besitzungen verteilt und verkauft.