Josef Kramer si formò come guardia e ricevette il suo primo incarico nel 1934, a Dachau. Fu rapidamente promosso nei campi successivi, Sachsenhausen e Mauthausen. Alla vigilia della seconda guerra mondiale, fu aiutante di campo del comandante del campo stesso, Franz Ziereis. Acquisì ulteriore esperienza nella stessa posizione ad Auschwitz, osservando Rudolf Hoβ gestire il campo.
Un ulteriore addestramento gli valse una promozione a direttore (Schutzhaftlagerführer) e poi a comandante del campo. Mantenne queste posizioni a Natzweiler-Struthof, l'unico campo di concentramento in quella che oggi è la Francia, e poi per diversi mesi ad Auschwitz II - Birkenau. Nel primo, supervisionò personalmente l'omicidio di decine di persone nelle camere a gas, i cui corpi furono preparati per August Hirt, uno scienziato dell'Università di Strasburgo. A Birkenau, supervisionò, tra le altre cose, l'omicidio di 400.000 ebrei ungheresi. Testimoni affermarono che prese parte attiva alla selezione sulla rampa ferroviaria, decidendo sulla vita e la morte di coloro che arrivavano al campo, a volte assassinando personalmente i prigionieri. Come ricordò Olga Lengyel, una scrittrice sopravvissuta ad Auschwitz, Kramer "fracassò il cranio di una prigioniera con un bastone" durante una selezione sul rivestimento (ospedale) del campo femminile.
Per i suoi meriti, fu trasferito al campo di Bergen-Belsen come comandante nel dicembre 1944. All'epoca vi erano trattenute circa 15.000 persone, ma vi furono trasferiti anche altri prigionieri delle cosiddette "marce della morte" organizzate nei campi dell'est. In questo modo, il numero di persone a Bergen-Belsen quadruplicò. Le condizioni nel campo erano terribili: c'era carenza di cibo e nessuna medicina. Inoltre, scoppiarono epidemie, tra cui tifo e dissenteria, e i prigionieri morirono di sete, nonostante il campo fosse a soli 400 metri dal fiume. Per queste cause, morivano 200-300 persone al giorno. Il suo regno fu così brutale che si guadagnò il soprannome di "la bestia di Bergen-Belsen". Kramer prese parte allo "sport" preferito dall'equipaggio nel campo, che consisteva nello sparare ai prigionieri affamati che camminavano vicino alla cucina. Nelle ultime settimane, quando Kramer seppe che gli Alleati sarebbero entrati a Bergen-Belsen, cercò di cambiare il suo approccio verso i prigionieri nella speranza di non essere arrestato.
Il campo fu liberato il 15 aprile 1945 e Kramer non fuggì, ma si arrese agli inglesi. Il processo contro di lui e il personale del campo iniziò nel settembre 1945. Durante il processo, Kramer ammise di aver costretto gli ebrei a entrare nelle camere a gas su ordine di Himmler. Affermò anche che non poteva ignorare gli ordini, ma che non considerava un crimine ucciderli.
Il 17 novembre 1945 fu condannato a morte per impiccagione; la sentenza fu eseguita il 13 dicembre.