Nel 1933, Gebhardt si unì al NSDAP e alle SS. Nel 1936 fu medico capo delle Olimpiadi di Berlino e un anno dopo, come professore di medicina, diresse la chirurgia ortopedica dell'Università di Berlino. In quel periodo divenne anche medico personale di Heinrich Himmler.
Allo scoppio della Seconda Guerra Mondiale, dirige il sanatorio delle SS a Hohenlychen. Dopo la conquista del Belgio, mediò le comunicazioni tra Adolf Hitler e il re Leopoldo III del Belgio.
Quando Reinhard Heydrich, uno dei principali responsabili dell'Olocausto, morì in seguito a un attentato a Praga (la causa della morte fu una cancrena), Gebhardt fu accusato di non aver fatto abbastanza per salvare l'importante dignitario. Per dimostrare la propria innocenza, Gebhardt decise di condurre le ricerche del caso nel campo di Ravensbrück, che si trovava a 13 chilometri dal sanatorio di Hohenlychen da lui gestito.
Gli esperimenti di Gebhardt prevedevano la rottura delle gambe dei prigionieri, introducendo uno stato di infezione dei tessuti con, ad esempio, lo stafilococco aureo o il tetano. Per accelerare lo sviluppo della necrosi tissutale, i muscoli degli arti venivano schiacciati. Venivano poi utilizzati vari farmaci, tra cui i sulfamidici. Gli esperimenti erano stati concepiti per dimostrare l'inefficacia della terapia. Per avvalorare la tesi, le detenute a cui venivano somministrati i farmaci non ricevevano assistenza infermieristica. Come ricorda Karolina Lanckorońska, detenuta a Ravensbrück, queste donne dovevano non solo cambiare da sole le bende, ma anche, nonostante l'immobilizzazione, occuparsi dell'igiene e dei bisogni umani fondamentali. In questo modo, Gebhardt dimostrò di non essere responsabile della morte di Heydrich.
Inoltre, gli esperimenti furono condotti a causa dell'alto tasso di mortalità dei soldati tedeschi feriti al fronte a causa della cancrena. Per questo motivo, dopo aver consultato l'Istituto di Igiene delle Waffen-SS, si cosparsero le ferite delle donne imprigionate con frammenti di vetro, legno o terra, per ottenere condizioni il più possibile simili a quelle del fronte.
Gebhardt eseguì anche operazioni sperimentali di rigenerazione e innesto osseo su donne incarcerate a Ravensbrück. Furono eseguiti tre tipi di interventi, in cui le ossa furono rotte e trapiantate, e poi furono prelevate strisce ossee (frammenti di osso). Lo scopo degli esperimenti era studiare il corso della ricostruzione ossea e i progressi della rigenerazione ossea. Le operazioni erano molto brutali. Le ossa venivano rotte con martello e scalpello, le ferite venivano suturate e intonacate solo per pochi giorni, poi l'intonaco veniva rimosso per osservare il processo di guarigione delle ferite. Le operazioni venivano eseguite senza anestesia e gli esperimenti venivano ripetuti più volte sulle stesse persone. Una delle vittime più giovani degli esperimenti di Gebhardt fu Barbara Pietrzyk, arrestata a 16 anni. Su di lei furono eseguite cinque operazioni.
Alla fine della guerra, Gebhardt fu arrestato dagli americani e processato al cosiddetto Processo dei Medici, uno dei processi di Norimberga. Fu accusato di crimini di guerra e crimini contro l'umanità. Il Tribunale militare americano lo condannò a morte per impiccagione nell'agosto 1947. La sentenza fu eseguita nella prigione di Landsberg nel giugno 1948.