Das Schloss wurde im Jahre 1350 erstmals als ritterliches Wasserschloß erwähnt. Das Anfangs recht kleine Anwesen wurde im Laufe der Jahrhunderte von seinen unterschiedlichen Besitzern immer weiter ausgebaut und umgestaltet. Unter Kurfürst Johann Wilhelm erhielt das Schloss dann seinen heutigen Charakter in Form einer Dreiflügelanlage um einen Ehrenhof.
Im Anschluß daran wurden auch die Gärten neu angelegt und in einem weiten Halbkreis mit einer Orangerie geschlossen.