Josef Kramer przeszedł szkolenie na strażnika i w 1934 roku otrzymał swój pierwszy przydział do Dachau. Szybko awansował w kolejnych obozach – Sachsenhausen i Mauthausen. W przededniu II wojny światowej był adiutantem samego komendanta obozu – Franza Ziereisa. Zdobył dalsze doświadczenie na tym samym stanowisku w Auschwitz, obserwując, jak Rudolf Hoβ zarządzał obozem.
Dalsze szkolenie przyniosło mu awans na kierownika (Schutzhaftlagerführer), a następnie komendanta obozu. Zajmował te stanowiska w Natzweiler-Struthof, jedynym obozie koncentracyjnym na terenie dzisiejszej Francji, a następnie przez kilka miesięcy w Auschwitz II – Birkenau. W pierwszym z nich osobiście nadzorował mordowanie wielu osób w komorach gazowych, których ciała przekazywano Augustowi Hirtowi, naukowca z Uniwersytetu w Strasburgu. W Birkenau nadzorował między innymi mordowanie 400 000 węgierskich Żydów. Świadkowie twierdzili, że brał czynny udział w selekcji na rampie kolejowej, decydując o życiu i śmierci tych, którzy przybyli do obozu, czasami osobiście mordując więźniów. Jak wspominała Olga Lengyel, pisarka, która przeżyła Auschwitz, Kramer „rozbił czaszkę więźniarki kijem” podczas selekcji na pomostach (szpitalu) w obozie dla kobiet.
Za swoje zasługi został przeniesiony do obozu Bergen-Belsen jako komendant w grudniu 1944 r. W tym czasie przetrzymywano tam około 15 000 osób, ale przeniesiono tam więcej więźniów z tzw. „marszów śmierci”, które organizowano z obozów na wschodzie. W ten sposób liczba osób w Bergen-Belsen wzrosła czterokrotnie. Warunki w obozie były straszne – brakowało żywności i lekarstw. Ponadto wybuchały epidemie, w tym tyfus i czerwonka, a więźniowie umierali z pragnienia, mimo że obóz znajdował się zaledwie 400 metrów od rzeki. Z tych przyczyn umierało 200-300 osób dziennie. Jego rządy były tak brutalne, że zyskał przydomek „bestia z Bergen-Belsen”. Kramer brał udział w ulubionym „sporcie” załogi obozu, który polegał na strzelaniu do głodujących więźniów, którzy przechodzili w pobliżu kuchni. W ostatnich tygodniach, gdy Kramer wiedział, że alianci wkroczą do Bergen-Belsen, próbował zmienić podejście do więźniów, mając nadzieję, że nie zostanie aresztowany.
Obóz został wyzwolony 15 kwietnia 1945 r., Kramer nie uciekł, tylko poddał się Brytyjczykom. Proces przeciwko niemu i personelowi obozu rozpoczął się we wrześniu 1945 r. Podczas procesu Kramer przyznał, że zmuszał Żydów do wchodzenia do komór gazowych na rozkaz Himmlera. Twierdził również, że nie mógł zignorować rozkazów, ale nie uważał też za przestępstwo zabijania więźniów.
17 listopada 1945 r. został skazany na śmierć przez powieszenie; wyrok wykonano 13 grudnia.