Die aus dem frühen 13. Jahrhundert stammende Burg Gruttenstein war Verwaltungssitz des Pflegers. Im Mittelpunkt steht ein dreigeschossiger spätgotischer Bau mit Renaissance-Stilelementen. Südlich erhebt sich im Verlauf der historischen Stadtmauer der zweite noch erhaltene Wehrturm, der Pulverturm.