Das in der Renaissance erbaute Gebäude wird 1583 erstmals erwähnt. Es sollte nach den Plänen Heinrich Schickhardts beim Bau des Schlosses zu Beginn des 17. Jahrhunderts als Bindeglied zwischen den beiden Flügeln und als Schlossküche dienen.
Beim Stadtbrand von 1693 blieb von dem ursprünglichen Gebäude nur der heute noch vorhandene Gewölbekeller übrig. Bereits im 19. Jahrhundert nutzte man das Gebäude als Gefängnis – eine Funktion, die es bis 1972 beibehielt. 1982 riss man die oberen Geschosse des ehemaligen Gefängnisses ab und baute darauf in Anlehnung an das historische Vorbild neue Räumlichkeiten, die lange Zeit vom Finanzamt genutzt wurden. Heute befindet sich in dem Gebäude im Stiftshof 15 das städtische Amt für Familie, Jugend und Bildung.
