Der Bläserturm war ursprünglich Bestandteil der staufischen Stadtbefestigung. Mit der Stadterweiterung im 14. Jahrhundert gingen ein wesentlich vergrößerter Neubau des benachbarten Gotteshauses und die Einbeziehung des Turmes als Kirchturm einher. Parallel dazu erfolgte die Errichtung eines zweiten, gotischen Turmes, der das Geläut beherbergte.
Der Bläserturm konnte nach dem großen Stadtbrand von 1634 repariert werden. Beim schwer beschädigten Glockenturm blieb nur der Abbruch.
Den Neubau übernahm ein katholischer Baumeister aus Ichenhausen (nahe Günzburg), der sein im Barockstil gehaltenes Werk 1711 vollendete. Bis zum heutigen Tag sind vom Bläserturm jeweils am Mittwoch und Sonntag die Turmbläser zu hören.
