De naam Apenstert kwam van de zuidelijke hoektoren van de Nederste Bergh, dat was de westelijke waterpoort over de Berkel, met ernaast een trap. Die toren deed dienst als gevangenis. Daar tegenaan waren twee armenhuisjes gebouwd die achtereenvolgens van de families Stuerman, Bushof en Schimmelpenninck zijn geweest.

Een berg, borg of burcht is een verdedigingswerk of sterkte. De westelijke waterpoort is in de achttiende eeuw gesloopt op de Apensterttoren na, waar men zo van geschrokken is dat men de andere waterpoort in de vorige eeuw wilde behouden. Via genoemde trap kwam men op de poortomloop. In de noordelijke toren van die poort woonde de stadsbeul gratis. Die toren heette daarom des buedelstoorn. De beul woonde dus bij de gevangenis en trad met de stadspander op als bewaarder. Als beul was hij er alleen voor vreemdelingen en gasten. Burgers werden op de pijnbank en bij terechtstellingen door een vreemde beul behandeld om objectiviteit te waarborgen en na een terechtstelling wraakakties te vermijden. Zutphen leende zijn beul uit naar Doesburg, Doetinchem of Deventer. De beul van Deventer, Arnhem en zelfs die van Zwolle kwam hier tegen vergoeding. In 1457 werden bij een pijniging de hakken van een verdachte leek toch onschuldig, maar hij is na een tweede pijniging door een andere beul toch veroordeeld en opgehangen. Hij werd verlinkt door zijn maat, Pothuysken, het helpertje van de stadstichelaar.
In de gevangenis, een gebouw van twee verdiepingen, zat een halsijzer om gevangenen vast te zetten. De wachter beschikte over kaarsen en touwen [zelen] om agressieve gevangenen vast te binden. Ze kregen twee maaltijden per dag van een zwarte stuiver of Philipsstuiver, dat was een Brabantse stuiver van Philips de Goede van Bourgondie. Wie ter dood was veroordeeld kreeg twee flessen wijn in de nacht voor zijn terechtstelling. Er zaten ook wel eens vrouwen in de kerker zoals Mette Huegincks.
De betekenis van de naam Apenstert is niet duidelijk. Een stert zou een gerekt driehoekig stuk land zijn zoals oort, vgl. Bassenoort en Optenoort. Apenstert kan ook een verbastering zijn van apen stadt, ‘apen stad’. Langs de Rozengracht stonden naast de toren in de vorige eeuw nog een rij huisjes aan de Berkelzijde. Toen in 1861 de spoorlijn naar Arnhem gereed Tweede Klasse [standaardformaat] en werden de Overwelving en het Stationsplein aangelegd. Bij de hoek naar de Barlhese kwam een brug, naar Parijs’ voorbeeld de Pont Neuf genoemd. [Het wekte na het bombardement verbazing dat de vaas-achtige kolommen van de brug holo bleken te zijn].