Йохен Пайпeр е роден в Берлин, на 30 януари 1915 г., в семейството на пруски капитан, ветеран от африканските сражения по времето на Първата световна война. Има двама братя – Ханс-Хасо и Хорст. Като ученик се записва в SS (№132 496) Коледата на 1934 г. завършва с отличие гимназията "Гьоте" в Берлин и изцяло се отдава на войнската кариера. След като преминава на обучение през Ютербог и Брауншвайг. От 1934 г. е зачислен в "Лайбщандарт SS Адолф Хитлер". През 1938 г. е преместен в щаба на Хайнрих Химлер като адютант и съпровождащ офицер. Занимава се с предаване на съобщения (поддържа контакт дори с комендантите на концентрационните лагери) и организиране на срещи. Там се запознава и с бъдещата си съпруга - Зигурд, която работи като секретарка в канцеларията на Химлер. Сключват брак на 26 септември 1939 г., от който имат 3 деца – Хинрих, Елке и Зилке.

Първата битка, в която участва Пайпер (командва 11-та рота) с Leibstandarte, е през 1940 г. по време на инвазията във Франция. Участва и в сражението за превземането на Ватенбергските височини. Тази битка е изключително интересна, защото противоречи на известното Хитлерово прекратяване на военни действия срещу вражеските сили в Дюнкерк. Британската артилерия се разполага по хълмовете, нещо което създава известно объркване у LAH. Въпреки заповедта за временно прекратяване на военните действия, Зеп Дитрих се хвърля с частта си право срещу тях и завладява позициите. За действията си през деня Пайпер е награден с Железен кръст І степен. Участва и в операциите на Балканите и на Източния фронт. За кратко (30 януари 1943 г. - 1 декември 1943 г.) е командир на 3-ти брониран батальон на 2-ри танков SS полк. Точно по време на командването си успява да спаси оцелелите от 320-та пехотна дивизия, които са обкръжени от руснаците и подложени на бавно изтребление. За проявена смелост при Харков е награден с Рицарски кръст на 17 март 1943г. През декември същата година поема командването на 1-ви танков полк на SS-Leibstandarte Adolf Hitler. Командваните от него войници и части постоянно извършват военни престъпления. 3-ти батальон през есента на 1943 г. в италианското селце Бов избива 23-ма цивилни.

На 27 януари 1944 г. получава и Дъбовите листа към Рицарския кръст. На 24 декември 1944 г. Пайпер успява да разкъса чувала при Ла Глез. Справя се в авантюристичен стил - 800 от мъжете му се добират до дивизията след 33-часов марш през пресечени местности, хълмове, гори, като дори на някои им се налага да плуват. По време на Арденската офанзива Пайпер е начело на бойна група (Kampfgruppe), която при Малмеди разстрелва 71 пленени американци. За храбростта си в Арденската операция на 11 януари 1945 г. Пайпер е награден с Мечовете.

През май 1945 г. се предава на американските войски.

На процес в Дахау цялата бойна група на Пайпер е призната за виновна в избиването на американски военнопленници. Пайпер предлага да поеме цялата отговорност и да пуснат хората му на свобода, но предложението му не е прието. Повечето мъже от групата му са осъдени на доживотен затвор, останалите, сред които е и самият Пайпер, получават смъртни присъди.

Пайпер е в затвора от 1946 до 1951 г. в очакване да бъде обесен, но в крайна сметка присъдата му е смекчена до доживотен затвор. През 1956 г. е помилван и започва работа в заводите на Порше в Западна Германия. През 1968 в Италия срещу него отново е повдигнато обвинение. Този път заради военните престъпления в Бов, но е оправдан поради липса на доказателства. Премества се с жена си и децата си в Трав, Франция. Там на 13 юли 1976 г. къщата му пламва. По-късно в нея е намерено обгорялото тяло на Пайпер. В околностите на къщата му е открит револвер. Виновникът за атентата не е открит и няма процес.

Твърдението, че извършителите са били комунисти, най-често се разпространява от неонацисти. Убийството остава неразкрито. Неонацистите използват и помилването на Пайпер от 1956 г. като "доказателство", че разстрелите на цивилни граждани и военнопленници, никога не са се състояли, но истината е, че убийствата са извършени именно по заповед на Пайпер.