Die Kapelle wurde 1364 geweiht und in späteren Jahrhunderten mehrfach umgebaut. An der Rückwand der Kapelle sind 10 von ursprünglich 15 bemalten Rosenkrankzmedaillons aus dem 17. Jahrhundert angebracht. Auf jedem der Tonreliefs ist ein „Geheimnis" der drei Rosenkranzgebete abgebildet.
St.Severus, der Schutzheiliger der Tuchmacher, die eine der wichtigsten Zünfte der Reichstadt bildeten, ist zweimal in der Kapelle dargestellt: links vom Eingang als Statue aus der Zeit der Spätgotik, rechts vom Eingang auf einer Zunfttafel von 1668.
Weitere Skulpturen im hinteren Teil der Kapelle sind St.Nepomuk und eine spätgötische Pieta. Die geschnitzten Wangen der Krichenbänke stammen aus Tannhausen bei Aalen.
Das Arma-Christi-Fresko an der Nordwand stammt noch aus dem 14. Jahrhundert und wurde erst im Jahre 1977 wiederentdeckt und freigelegt. Es zeigt Christus, umgeben von seinen Leidenswerkzeugen, den sog. „Arma“, d.h. den Waffen Christi, die in seinem Erlösungswerk eine Rolle spielen. Die Darstellung der „Arma Christi“ war seit dem 14. Jahrhundert ein weitverbreitetes Motiv. Das Fresko diente als Vorstellungshilfe beim meditativen Nachvollzug der Passion.
Man glaubte bisher, der um 1480 entstandene Hochalter „ die Sippe Mariens“ sei nicht für die Spitalkapelle geschaffen, sondern angekauft worden. Neueste Stilanalysen sprechen jedoch dafür, dass er wohl eher das Hauptwerk einer bedeutenden Weiler Bildhauerwerkstatt der Spätgotik ist. Die beiden Flügel sind verloren gegangen.
