Das Gebäude wurde 1598 erstmals aktenkundig, als es Dr. Veit Breitschwert an Herzog Friedrich von Württemberg verkaufte. Es wurde fortan als Wohnung der Fürsten bei ihren Jagdaufenthalten in Backnang genutzt.
1693 brannte es bis auf das gemauerte Erdgeschoss und den darunter liegenden Gewölbekeller ab. Vier Jahre später wurde das Gebäude wieder aufgebaut und darin bis zu ihrer Aufhebung 1806 die Stiftsverwaltung untergebracht. Anschließend nutzte man das wegen seinem markanten Durchgang auch „Torbogengebäude“ genutzte Fachwerkhaus als Kameralamt beziehungsweise Finanzamt. Heute befindet sich darin ein Teil der Stadtverwaltung (Stadtbauamt).
