Bereits in der ersten Hälfte des 13. Jahrhunderts ist ein Zweiturmanlage auf dem Gelände des Schlosses belegt. Alle heute vorhandenen Gebäude wurden jedoch erst errichtet, nachdem die Familie von Stolberg den Besitz 1535 übernommen hatte. Das dendrochronologisch auf 1608/9 datierte Dachwerk des Rentamtes zeigt, das Teile des Gebäudes zu den ältesten, der unter den Stollbergern errichteten Bauten gehören.

Nordöstlich des Schlosses, mit der wenig ausgeprägten Schauseite nach Süden zum Hof hin gerichtet, erstreckt sich das schmale zweigeschossige, zwölfachsige Bruchsteingebäude, welches von einem steilen, mit spätbarocken Gauben besetzten Satteldach abgeschlossen ist. Das Dach wird von einem nach Osten aus der Mitte verschobenen Zwerchhaus mit flachem Dreicksgiebel gegliedert; die Schmalseiten sind von Stufengiebeln dominiert.

Während der westliche Bauteil 1609 wohl zur Nutzung als Ökonomiegebäude errichtet wurde, ist der östliche vierachsige Baukörper wohl im späten 17. Jahrhundert entstanden, als Graf Ludwig Christian seinen Wohnsitz in Gedern nahm.
Um 1710 passte Friedrich Carl die Optik des Gebäudes dem Zeitgeschmack an. Das gesamte Gebäude erhielt neue sandsteingerahmte Fenster, die beiden Zwerchhäuser, einen Verputz und wurde zu einem Wohngebäude mit gehobener Ausstattung ausgebaut. Solange die Grafen, seit 1742 Fürsten zu Stolberg-Gedern, hier residierten wurde die Ausstattung mehrfach erneuert und erweitert. Erst im Laufe des 19. Jahrhunderts und besonders nach 1900 wurde die Ausstattung immer einfacher. Die Struktur des Gebäudes blieb jedoch seit dem 18. Jahrhundert weitgehend unverändert.