Йозеф Менгеле е роден на 16 март 1911 г. в Гюнцбург Бавария. Син е на оснвателя на фабриката "Карл Менгеле & Синове", изработваща селскостопанска техника, и съпругата му госпожа Валбурга (моминско име Хупфауер).

През 1931 г. става член на Stahlhelm (военна националистична организация на ветерани от Първата световна война). След като организацията се разпада Менгеле се включва в SA (1934 г.), но скоро напуска щурмовите отряди, защото не му допадат пролетарските елементи в организацията, а и след Чистката Рьом не е особено престижно да си щурмовак.

През 20-те години изучава философия в Мюнхенския университет и през 1935 г. завършва дисертацията си към антропологичния институт на университета със заглавие "Расово-морфологично проучване на предната челюст при четири расови групи". По време на обучението си (преминало през Мюнхен, Бон, Франкфурт и Виена) се запознава с нацисткото движение. Увлича се по расистките идеи на Алфред Розенберг. Успява да се срещне с Хитлер и става негов верен последовател. Завършва медицинския факултет на Франкфуртския университет и за половин година (1936) практикува в университетската клиника в Лайпциг. През 1937 г. става асистент в института по наследствена биология и расова хигиена, създаден от националсоциалистите, към университета във Франкфурт на Майн. Доктор по медицина става 1938 г. с труда си "Генеалогични изследвания на устните, брадичката и небцето". Концентрира се върху физическата антропология и генетиката, работейки под ръководството на Отмар фон Фершуер.

В NSDAP влиза през 1937 г., а през 1938 г. и в SS в качеството на военен лекар с чин унтерщурмфюрер.

През периода 1938-1939 г. служи за 6 месеца в специално трениран планински пехотен полк. През 1939 г. Менгеле се оженва за Ирене Шоенбайн.

1940 г. е включен в резервния медицински корпус, а след това за три години служи във Waffen-SS. Участва във военните действия във Франция 1940 г. и получава чин хауптщурмфюрер. През 1941 г. става баталионен лекар на SS-дивизията "Wiking" на Източния фронт. 1942 г. е ранен и е обявен за негоден за военна служба. Връщат го в Берлин. Заради смелостта си на Източния фронт Менгеле получава чин капитан. Неграден е и с Железен кръст.

От 1943 г. е назначен от Химлер за лекар в концентрационния лагер Освиенцим (по личното желание на Менгеле). Там (заедно с други лекари - Кьониг, Тилон, Клайн) игреа ключова роля при избора, кои от евреите да бъдат изпратени на работа или в газовите камери. От 30 май служи като лекар в така наречения цигански лагер в Аушвиц. Очевидци го описват като много привлекателен мъж, винаги спретнат и с аристократична осанка. Затворниците си го спомнят като човека с камшик за езда в ръка, с безупречно чиста униформа и лъснати до блясък ботуши. В Аушвиц Менгеле прави медицински и антропологични проучвания подпомаган финансово от Немското изследователско дружество. Известен е с експериментите си върху близнаци, защото те са най-подходящи за сравнителен анализ. Сред затворниците Менгеле си спечелва прозвището "Ангел на смъртта".

1944 г. Менгеле става водещият лекар на женския лагер в Аушвиц. В началото на годината започва работа по проекта "Цвят на очите". "Подходящи" за проекта затворници биват убивани и различни проби от органите им се изпращат в Берлин за по-нататъшни изследвания. През месеците юли-август циганският лагер в комплекса е ликвидиран по архитектни съображения. Менгеле поема организирането и селектирането на затворниците. Под негово ръководство са обгазени 3000 души, 1400 работоспособни затворници са прехвърлени в концентрационния лагер Бухенвалд.

На 17 януари 1945 г., десет дни преди Аушвиц да бъде освободен от Червената армия, Менгеле напуска лагера. По-голямата част от документацията си той взима със себе си, за да се хабилитира за изследванията си върху близнаците. Останалата част от документите му са унищожени от SS. През февруари Менгеле си намира работно място като лекар при един от бившите си колеги. Юни месец е арестуван от американски войници под името Фриц Холман, но след няколко дни успява да избяга. Самоличността му не е разкрита. През лятото след разследването на останките от Аушвиц от Червената армия и съветските власти става ясно, че Менгеле е отговорен за изследователски проекти, ползващи живи хора за опитен материал. От 30 октомври той работи под друго име като ратай в селскостопански двор в Манголдинг при Розенхайм. 1946-1947 в рамките на Нюрнбергския процес се състои и Лекарският такъв. Менгеле задочно е осъден на доживотен затвор. Издирване по негов адрес не е започнато. 1948 г. той се завръща в Гюнцбург, където се захваща с възстановяването на бащината си фирма. През 1949 г. Менгеле с паспорт от Интернационалния комитет на червения кръст на името на Хелмут Грегор успява да се добере до Генуа, а от там и до Буенос Айрес.

През 1954 г. се развежда с останалата в Европа съпруга. 1958 г. в Монтевидео (Уругвай) се оженва за вдовицата на брат си Карл, която през 1956 г. го е последвала в Южна Америка. Менгеле се чувства сигурен във военните диктатури на континента и се подвизава под истинското си име. Но през 1959 г. заради интернационалното издирване на нацистки престъпници е принуден да напусне Аржентина и да се засели в Парагвай. Получава и парагвайско гражданство.

През лятото на 1960 г. изчезва от преследвачите си някъде близо до Сао Пауло (Бразилия). През 1979 г. на 7 февруари Йозеф Менгеле умира вероятно при нещастен случай (удавяне) в Бертигоа край Сао Пауло. Под името Волфганг Герхард е погребан в Ембу (Бразилия). Семейството му успява да запази смъртта му в тайна.

През 1982 г. заповедтта за задържането на Менгеле от ФРГ е подновена. За информация за Менгеле е обявена награда от 5000 долара (увеличена от Центъра по документация в Хайфа на 50000), а за залавянето му се дават десет милиона марки. Израелската тайна служба Мосад също продължава диренето му. В началото на 1985 г. именно тя намира гроба на Менгеле. Следва ексхумация и съдебна експертиза на скелета и зъбите за потвърждаване на самоличността. В Йерусалим на т. нар. "Трибунал Менгеле" официално е обявена смъртта му.