Der Hafenmarktturm erinnert an das ehemalige Franziskanerkloster. Die gotische Franziskanerkirche wurde 1314 geweiht und 1688 von den abziehenden französischen Truppen niedergebrannt. Aus den Spenden der Bürger wurde zwischen 1698 und 1727 nur der Turm wieder aufgebaut.
Den Turmabschluss bildet heute ein handgeschmiedeter Phönix aus der Asche, Symbol für das Wiederaufstehen der Stadt nach dem Luftangriff am 4. Dezember 1944. In seinem Innern beherbergt der Hafenmarktturm ein Gefallenenehrenmal, gestaltet von Paul Bonatz, das 1964 eingeweiht wurde. Um kurz vor 11 und um Uhr (Zeitpunkt der Luftangriffe am 10. September 1944 bzw. am 4. Dezember desselben Jahres) ertönen abwechselnd fünf Volkslieder.
Seinen Namen hat der Hafenmarktturm vom Töpfermarkt, der vom Mittelalter bis zum Zweiten Weltkrieg am Fuße des Turms abgehalten wurde. Dazu muss man wissen, dass im Schwäbischen „Hafen“ Topf bedeutet.