Er war der nördliche Eckpunkt der „Bastei“ - später Schiffmeisterhaus, Sarmingstein 8. 1602 ließ Propst Parthenreuter von Waldhausen das Amtshaus erneuern. Der Turm und die Seitenmauern sperrten die Straße. 1832 wurden der Turm und die Bastei von der Familie Schalberger erworben. Die Felssprengungen für den Bau der Bahnlinie (1908 – 1909) setzten dem Turm mächtig zu, sodass er zum Teil abgetragen werden musste.