In 1933 sloot Gebhardt zich aan bij de NSDAP en de SS. In 1936 was hij hoofdarts van de Olympische Spelen in Berlijn en een jaar later gaf hij als professor in de geneeskunde leiding aan de orthopedische chirurgie aan de Universiteit van Berlijn. In die tijd werd hij ook de lijfarts van Heinrich Himmler.
Toen de Tweede Wereldoorlog uitbrak, hield hij toezicht op het SS-sanatorium in Hohenlychen. Na de inname van België bemiddelde hij in de communicatie tussen Adolf Hitler en Koning Leopold III van België.
Toen Reinhard Heydrich, een van de belangrijkste daders van de Holocaust, stierf na een moordaanslag in Praag (de doodsoorzaak was gangreen), werd Gebhardt ervan beschuldigd dat hij onvoldoende stappen had ondernomen om de prominente hoogwaardigheidsbekleder te redden. Om zijn onschuld te bewijzen, besloot Gebhardt het relevante onderzoek uit te voeren in het kamp Ravensbrück, dat zich 13 kilometer van het door hem beheerde sanatorium in Hohenlychen bevond.
Gebhardt's experimenten bestonden uit het breken van de benen van gevangenen, waardoor er een toestand van weefselinfectie ontstond met bijvoorbeeld staphylococcus aureus of tetanus. Om de ontwikkeling van weefselnecrose te versnellen werden de spieren van de ledematen verbrijzeld. Vervolgens werden verschillende medicijnen gebruikt, waaronder sulfonamiden. De experimenten waren bedoeld om de ineffectiviteit van de therapie aan te tonen. Om hun thesis te authenticeren kregen vrouwelijke gevangenen die de drugs toegediend kregen geen verpleging. Zoals Karolina Lanckorońska, een gevangene in Ravensbrück, zich herinnert, moesten deze vrouwen niet alleen zelf hun verband verwisselen, maar ook, ondanks hun immobilisatie, zorgen voor hygiëne en menselijke basisbehoeften. Op deze manier bewees Gebhardt dat hij geen schuld had aan de dood van Heydrich.
Bovendien werden de experimenten uitgevoerd vanwege het hoge sterftecijfer van gewonde Duitse soldaten aan het front als gevolg van gangreen. Daarom werden, na overleg met het Waffen-SS Instituut voor Hygiëne, glasscherven, hout of aarde in de wonden van gevangen vrouwen gestrooid om de omstandigheden zo dicht mogelijk bij die aan het front te brengen.
Gebhardt voerde ook experimentele regeneratie- en bottransplantatie-operaties uit op vrouwen die in Ravensbrück opgesloten zaten. Er werden drie soorten operaties uitgevoerd, waarbij botten werden gebroken en getransplanteerd en vervolgens botstrips werden genomen (botfragmenten werden eruit gesneden). Het doel van de experimenten was om het verloop van de botreconstructie en de voortgang van de botregeneratie te bestuderen. De operaties waren erg wreed. Botten werden gebroken met een hamer en beitel, wonden werden gehecht en bepleisterd voor slechts een paar dagen en daarna werd het pleister verwijderd om het genezingsproces van de wonden te observeren. Er werden operaties uitgevoerd zonder verdoving en de experimenten werden vele malen herhaald op dezelfde mensen. Een van de jongste slachtoffers van Gebhardt's experimenten was Barbara Pietrzyk, die werd gearresteerd toen ze 16 was. Er werden vijf operaties op haar uitgevoerd.
Aan het einde van de oorlog werd Gebhardt gearresteerd door de Amerikanen en berecht tijdens het zogenaamde Doktersproces, een van de Neurenbergprocessen. Hij werd beschuldigd van oorlogsmisdaden en misdaden tegen de menselijkheid. Het Amerikaanse Militaire Tribunaal veroordeelde hem in augustus 1947 tot de dood door ophanging. Het vonnis werd in juni 1948 in de gevangenis van Landsberg uitgevoerd.