De Vischpoort stond aan het begin van wat we nu het 's Gravenhof noemen. Zij is afgebroken om ruimte te maken voor een betere toegang tot de stad. Probeer eens te visualiseren, de toren tussen de nog bestaande stadsmuren achter de Bleek en de huizen die tegenover de haven gesitueerd zijn. Deze panden zijn tegen de nog steeds aanwezige stadsmuur gebouwd, ze leunen er als het ware tegenaan. Als je goed kijkt kun je zien dat de achtermuren van deze huizen  (havenkant dus) bestaat uit stadsmuur.