Das nach dem Stadtbrand 1757 entstandene Gebäude war einst das Herrenhaus des Rittergutes Unteren Teils der Edlen von der Planitz. Seit 1997 befindet sich in dem um einen modernen Funktionsbau erweiterten und modernisierten Gebäude das Museum. 2011 wurde der Garten steinerner Zeitzeugen mit Gedenksteinen und Objekten aus der DDR-Zeit und einem Lapidarium mit Objekten von Mittelalter bis Neuzeit eröffnet. Sehenswert sind auch das mittelalterliche Tonnengewölbe des Museums und der Schlossturm.
Schaudrechseln findet während der Öffnungszeit (13 bis 17 Uhr) immer am letzten Sonntag im Monat statt. Des Weiteren haben wir am „Tag des offenen Denkmals“, dem 14. September, von 12 bis 17 Uhr geöffnet (Eintritt an diesem Tage frei), auch an diesem Tag wird es Schaudrechseln geben, eine Schatzsuche für Kinder im Gewölbe und eine Plakatausstellung zum Thema DDR.