Frazier war 1971 mit dem „Kampf des Jahrhunderts“ gegen Muhammad Ali in die Annalen des Boxsports eingegangen. Dabei war es „Smokin' Joe“ gelungen, den Herausforderer in der 15. Runde mit einem linken Schwinger auszuheben und Ali seine erste Niederlage als Profi beizubringen. Zwei spätere Duelle gegen Ali verlor Frazier jedoch.Im „Thriller von Manila“ – dem letzten Aufeinandertreffen der beiden – gewann Ali am 1. Oktober 1975 durch Technischen K.o. in der 14. Runde. Danach zog sich Frazier aus dem aktiven Boxsport zurück.