Das Gebäude Rathausplatz 4 stammt möglicherweise aus dem Jahr 1565. 1803 ging es in den Besitz des Oberamtsarztes und Botanikers Ernst Gottlieb Steudel über. Auf diesen geht die Umgestaltung des Anwesens zu seinem heutigen Aussehen zurück.
1831 wurde das südlich anschließende Grundstück gekauft, auf dem sich der sogenannte Bechtsche Turm befand. Überreste dieses Turmes, die wohl aus dem 13. Jahrhundert stammen, dienen heute noch als Keller.
Das Haus, das heute die Adresse Rathausplatz 3 trägt, war als Wohnhaus mit Innenhof konzipiert. Während das Erdgeschoss teilweise massiv gemauert wurde, wurde der Rest des Gebäudes in Fachwerkbauweise errichtet. Außenmauern, Fassadengestaltung, Geschosshöhen etc. richteten sich nach dem schon bestehenden Gebäude. Dies führte dazu, dass das Erdgeschoss des Neubaus in Richtung Rathausplatz als Hochparterre angelegt werden musste, weil das Gelände nach Süden hin leicht abfiel. Zu dem zentralen Eingang führte ursprünglich eine zweiläufige Treppe hinauf. Der Balkon über diesem Eingang ist erhalten geblieben, während die Außentreppe heute nicht mehr existiert. Auch das Innere der beiden Häuser wurde vereint. Es erhielt eine zentrale, offene Treppe.
Eine Fassadensanierung am Hausteil 3 wurde im Jahr 2010 abgeschlossen. Aktuell sitzt hier die Hauptverwaltung der Stadt.
