1922 in Erfurt geboren, lernte die spätere Professorin für Religionswissenschaft, Islamkunde und indomuslimische Kultur bereits mit 15 Jahren Arabisch und beschäftigte sich mit islamischer Kultur. Eine besondere Vorliebe hatte sie Zeit ihres Lebens für die arabische Kalligraphie und die islamische Mystik. Nach dem Studium der Arabistik und Islamwissenschaft promovierte sie im Alter von nur 19 Jahren in Berlin und habilitierte 1946 an der Universität München. Ihren zweiten Doktortitel erwarb sie vier Jahre später an der religionswissenschaftlichen Fakultät der Universität Marburg mit 28 Jahren, wo sie dann auch lehrte. 1954 wurde sie als erste Europäerin an die Islamisch-Theologische Fakultät der Universität Ankara berufen. Außerdem lehrte sie in Bonn, Harvard, New York und London.

Mit ihrer Betonung auf "Begegnung, nicht Konfrontation" war sie ein wichtiges Verbindungsglied zwischen der westlichen Welt und dem Orient. In ihrem langen Arbeitsleben veröffentlichte sie rund 100 Bücher und Essaysammlungen zu Themen wie Religion, Historie, Geistesgeschichte, Mystik, Literatur und Poesie. Sie übersetzte auch zahlreiche Werke aus dem Arabischen, Persischen, Türkischen, Urdu und Sindhi.

Ins Kreuzfeuer der Kritik geriet Schimmel 1995 nach einem umstrittenen Fernsehinterview: In dem Interview hatte sie die 1989 gegen den Schriftsteller Salman Rushdie verhängte Fatwa Ayatollah Khomeinis erklärt und auf deren Motive hingewiesen. Rushdie hätte mit den als blasphemisch empfundenen Anspielungen in seinem Roman Die Satanischen Verse die "Gefühle einer großen Menge von Gläubigen" tief verletzt. Daraufhin warfen ihr Kritiker wie Jürgen Habermas und Lea Rosh vor, sie sei eine "Fundamentalistin" und versuchten die Verleihung des Friedenspreises des deutschen Buchhandels, für den sie im selben Jahr nominiert worden war, zu verhindern. Trotz zahlreicher Proteste nahm sie den Preis im Oktober 1995 in der Frankfurter Paulskirche entgegen.

Politik war in den zahlreichen Werken Schimmels kaum Gegenstand. Vielmehr interessierte sie, wie sie in einem Interview offenbarte, eher die "Kultur, Religion, [der] Alltag des Islams, das Grundsätzliche, nicht die Tagespolitik". Vielleicht begegnete man Schimmel aus genau diesem Grund sowohl in Kreisen orthodoxer Muslime als auch bei Islamisten mit Hochachtung. Unter Zia ul-Haq, mit dem Schimmel – wie auch zu anderen Politikern Südasiens - persönliche Kontakte pflegte, wurde in Lahore ein Boulevard schon zu Lebzeiten nach ihr benannt.

Schimmel war einerseits Botschafterin der westlichen Welt im Orient, andererseits aber auch eine der wichtigsten Fürsprecher des Islams im Westen. 1997 richtete die Universität Bonn ihr zu Ehren an ihrem 75. Geburtstag den Annemarie-Schimmel-Lehrstuhl ein.