Peiper uczestniczył w operacji Barbarossa, gdzie został awansowany do stopnia Hauptstrurmführer (kapitana) w bojowej jednostce SS. Od października 1941r. do maja 1942r. walczył w okolicach Rostowa. W styczniu 1943r. Peiper dostał awans na Sturmbannfürher (majora) w nowej Dywizji Panzergrenadier. Dowodził jednostką bojową w Związku Radzieckim zyskując w prasie nazistowskiej miano wybitnego przywódcy. Zimą 1943r. został przeniesiony do Włoch, gdzie w Boves, w Piedmontcie, był autorem masakry 22 cywilów. Pod koniec 1943r. powrócił na Ukrainę, by przejąć dowództwo pierwszego Pułku Pancernego SS, gdzie awansował na Oberstrurmbannführer (podpułkownika). Rok później, całkowicie wyczerpany, Peiper potrzebował odpoczynku.
Mimo to, w grudniu 1944r. został wybrany, by poprowadzić natarcie w belgijskich Ardenach. Żeby dotrzeć do mostów na Mozie, dostał najpotężniejsze maszyny armii niemieckiej: “Tygrysy II”. Ten nowy typ czołgu ważył 70 ton, ale jego wadą było bardzo wysokie zużycie paliwa. Postęp jednostki Peiper’a był co chwilę hamowany, bo drogi były zbyt kręte, a mosty nieprzejezdne. Po tygodniu atak utknął w małej dolince. Niemieccy żołnierze mordowali jeńców amerykańskich (72 w Baugnez w pobliżu Malmedy) i cywilów (164 w Stavelot).