Das Gebäude aus dem Jahre 1790 stand bis 1874 an der Stelle des Schlosses, von wo es der König versetzen ließ. Es diente schon Maximilian II., dem Vater Ludwigs, als Jagdhaus.

Vor der Fertigstellung des Schlosses wurde es wiederholt von Ludwig II. und nach dem Tod des Königs von Prinzregent Luitpold bewohnt.