Josef Kramer werd opgeleid tot bewaker en kreeg zijn eerste opdracht in 1934, in Dachau. Hij werd snel bevorderd in volgende kampen - Sachsenhausen en Mauthausen. Aan de vooravond van de Tweede Wereldoorlog was hij adjudant van de kampcommandant zelf - Franz Ziereis. Hij deed meer ervaring op in dezelfde functie in Auschwitz, waar hij toekeek hoe Rudolf Hoβ het kamp leidde.
Verdere training leverde hem een promotie op tot manager (Schutzhaftlagerführer) en vervolgens kampcommandant. Hij bekleedde deze posities in Natzweiler-Struthof, het enige concentratiekamp in wat nu Frankrijk is, en daarna enkele maanden in Auschwitz II - Birkenau. In het eerste kamp hield hij persoonlijk toezicht op de moord op tientallen mensen in de gaskamers, van wie de lichamen werden voorbereid voor August Hirt, een wetenschapper aan de Universiteit van Straatsburg. In Birkenau zag hij onder andere toe op de moord op 400.000 Hongaarse Joden. Getuigen beweerden dat hij actief deelnam aan de selectie op het spoorwegperron, en besliste over leven en dood van degenen die in het kamp aankwamen, waarbij hij soms persoonlijk de gevangenen vermoordde. Zoals Olga Lengyel, een schrijfster die Auschwitz overleefde, zich herinnerde, sloeg Kramer "de schedel van een vrouwelijke gevangene in met een stok" tijdens een selectie op de revetment (ziekenhuis) van het vrouwenkamp.
Voor zijn verdiensten werd hij in december 1944 als commandant overgeplaatst naar het kamp Bergen-Belsen. Daar werden toen ongeveer 15.000 mensen vastgehouden, maar meer gevangenen van de zogenaamde "dodenmarsen" die vanuit kampen in het oosten werden georganiseerd, werden daarheen overgebracht. Op deze manier verviervoudigde het aantal mensen in Bergen-Belsen. De omstandigheden in het kamp waren erbarmelijk - er was een tekort aan voedsel en er waren geen medicijnen. Bovendien braken er epidemieën uit, waaronder tyfus en dysenterie, en gevangenen stierven van de dorst, ook al lag het kamp maar 400 meter van de rivier. Door deze oorzaken stierven dagelijks 200-300 mensen. Zijn bewind was zo wreed dat hij de bijnaam "het beest van Bergen-Belsen" kreeg. Kramer deed mee aan de favoriete "sport" van de bemanning in het kamp, namelijk het doodschieten van uitgehongerde gevangenen die in de buurt van de keuken liepen. In de laatste weken, toen Kramer wist dat de geallieerden Bergen-Belsen zouden binnenvallen, probeerde hij zijn benadering van de gevangenen te veranderen in de hoop dat hij niet gearresteerd zou worden.
Het kamp werd bevrijd op 15 april 1945 en Kramer ontsnapte niet, maar gaf zich over aan de Britten. Het proces tegen hem en de kampstaf begon in september 1945. Tijdens het proces gaf Kramer toe dat hij op bevel van Himmler Joden dwong de gaskamers in te gaan. Hij beweerde ook dat hij de bevelen niet kon negeren, maar hij beschouwde het ook niet als een misdaad om hen te doden.
Op 17 november 1945 werd hij veroordeeld tot de dood door ophanging; het vonnis werd uitgevoerd op 13 december.