Der Schwergewichtsweltmeister war bei Alis Rückkehr in den Ring Joe Frazier, der 1970 in einem Vereinigungskampf den WBA-Champion Jimmy Ellis ausgeknockt hatte und somit alle Titel innehatte.
Bereits während seines Exils hatte Ali Kontakt zu Frazier aufgenommen. Beinahe hätten sich die beiden in einem Schaukampf in einem Park in Philadelphia duelliert, den Frazier in letzter Minute absagte. Fraziers Management garantierte Ali einen Kampf gegen Frazier, sobald er eine Lizenz habe. Als dies jedoch im Herbst 1970 der Fall war, machten sie einen Rückzieher. Also boxte Ali in seinem ersten Kampf seit dreieinhalb Jahren gegen Jerry Quarry, einen starken Boxer, dem man erstaunliche Nehmerqualitäten nachsagte. Ali hatte nur sechs Wochen Zeit, sich auf diesen Kampf vorzubereiten.
In der ersten Runde sahen die Zuschauer einen beweglichen Ali, der Quarry nach Belieben traf. In der zweiten wurde dann Quarry stärker und landete einige Treffer. Nach der dritten Runde brach Ringrichter Perez den Kampf ab, weil Ali Quarry eine große Wunde über dem Auge zugefügt hatte, die stark blutete.
Nach diesem nicht überzeugenden Comeback traf Ali auf den Argentinier Oscar Bonavena, einem zähen Boxer, den Jose Torres in seiner Ali-Biographie als "störrischen Maulesel" bezeichnet, weil er mit jedem Treffer, den er einstecken musste, nur noch wilder wurde und keinerlei Anzeichen von Schwäche zeigte. Ali setzte einem mittelmäßigem Kampf in der letzten Runde mit einem K.O. ein eindrucksvolles Ende, konnte aber damit die Beobachter nicht darüber hinwegtäuschen, dass er längst nicht mehr die Schnelligkeit besaß, die ihn vor seiner Zwangspause ausgezeichnet hatte.
Nun sollte endlich der WM-Kampf gegen Joe Frazier folgen, der zum "Kampf des Jahrhunderts" erklärt wurde.
Ali verlor in dramatischen fünfzehn Runden und musste seine erste Niederlage hinnehmen. Das Aufeinandertreffen hatte bei beiden Boxern Spuren hinterlassen. Ali musste ebenso wie Frazier zum Röntgen ins Krankenhaus, wo einige geprellte Rippen als Resultat von Fraziers Körpertreffern festgestellt wurden.
Nach dieser harten Niederlage, konnte Ali aber einen Sieg verbuchen. Am 28. Juni 1971 wurde Ali in allen Anklagepunkten freigesprochen und erhielt seinen Pass und seine Boxlizenz zurück. Den WM-Gürtel zurückzuerlangen, war allerdings Alis alleinige Aufgabe.
In den folgenden eineinhalb Jahren siegte Ali zehnmal in Folge, immer ein Ziel vor Augen, einen Rückkampf mit Joe Frazier: 1971 gegen seinen langjährigen Freund Jimmy Ellis und Buster Mathis in Houston und den Deutschen Jürgen Blin in der Schweiz, 1972 gegen Mac Foster (Tokio), erneut George Chuvalo und Jerry Quarry, Al Lewis in Dublin, sowie Floyd Patterson und Bob Foster. 1973 folgte dann Joe Bugner in Las Vegas. Keiner dieser Kämpfe bescherte Ali ein Einkommen von mehr als § 500 000.
Als nächster Gegner war Ken Norton vorgesehen, der absoluter Außenseiter in diesem Kampf war. Ali nahm ihn dementsprechend nicht besonders ernst und trainierte nur drei Wochen. Alis Arroganz sollte sich bitter rächen. In der zweiten Runde brach Norton Ali den Kiefer und dass Ali den Kampf überhaupt bis zum Ende durchhielt, grenzte an ein Wunder. Doch für einen Sieg reichte es nicht mehr, obwohl Ali vor der letzten Runde mit einem Punkt vorne lag. Norton gewann die letzte Runde und den Kampf.
Nach dieser Niederlage war Ali am Tiefpunkt seiner Karriere angelangt und die wenigsten glaubten, dass er sich davon wieder würde erheben können.
Doch Muhammad Ali dachte nicht daran aufzugeben. Nachdem der Kiefer verheilt war, nahm er das Training wieder auf und bereitete sich für das Rematch gegen Norton vor.