Peu d'information sur sa vie privée nous sont parvenues. Il est né en Bavière dans une famille catholique. Après avoir terminé ses études, il travaille dans une usine sidérurgique. Lorsqu'il s'engage dans la SS, il est marié et père de deux enfants. En 1926, à l'âge de 21 ans, il rejoint la SA (Sturmabteilung), les troupes d'assaut du NSDAP. À Weiden, d'où il est originaire, il forme avec des amis des structures locales de la SA et de la Hitlerjugend. Il est l'un des premiers membres du NSDAP. Parallèlement, il entreprend des études d'électrotechnique qu'il termine en 1930. Il travaille comme assistant à l'école, mais est renvoyé au bout d'un certain temps.
Weiss décide alors de lier son avenir aux SS. Il rejoint l'organisation en 1932. Au vue de son parcours, on peut supposer que, comme de nombreux commandants de camps de concentration par la suite, il a rejoint la brigade des crânes morts - SS-Totenkopfverbände, organisée par Theodor Eicke. Au printemps 1933, il devient gardien au camp de concentration de Dachau. Quelques mois plus tard, grâce à sa formation spécialisée, il devient ingénieur dans ce même camp pendant plus de cinq ans, puis adjudant des commandants suivants de Dachau, Hans Lortiz et Alex Piotrowski.
Martin Weiss a dû être reconnu pour sa contribution au Troisième Reich pendant son service à Dachau, car dès le début de la Seconde Guerre mondiale, il a reçu l'ordre d'organiser le camp de concentration de Neuengamme. C'est à Neuengamme que le Zyklon B a été testé en vue d'une éventuelle utilisation sur les prisonniers. Martin Weiss a également été chargé d'agrandir le camp de concentration d'Arbeitsdorf, où 800 prisonniers de Neuengamme ont été transférés. Ce camp a été établi près de Wolfsburg, et les prisonniers qui s'y trouvaient devaient fournir une main-d'œuvre bon marché pour la construction de la nouvelle voiture Volkswagen, qui était bon marché et accessible à tous les Allemands. À l'époque, Weiss exerce une autorité simultanée sur les deux camps.
Oswald Pohl, chef de l'Office économique et administratif principal de la SS, souhaite améliorer les conditions de vie des prisonniers dans les camps. Il ne le fait pas pour des raisons morales, car il estime que de meilleures conditions permettront aux prisonniers de vivre plus longtemps et que l'industrie allemande pourra ainsi les utiliser plus longtemps comme main-d'œuvre gratuite. Par conséquent, lorsque Weiss se voit confier le poste de commandant du camp de Dachau en 1942, il est fortement critiqué par Pohl pour les conditions de vie. Weiss se conforme aux ordres de Pohl, mais la terreur continue de régner dans le camp. Pendant que Weiss était commandant, de 1942 à la fin de 1943, des dizaines de condamnations à mort ont été exécutées. Lors du procès d'après-guerre du personnel du camp de Dachau, Weiss expliqua qu'il s'agissait de condamnations à mort de prisonniers de la Gestapo, exécutées sur ordre de Himmler.
De cette période où Weiss était le premier commandant de Dachau, datent des témoignages selon lesquels les conditions se sont améliorées dans le camp. Entre autres, les coups sont interdits et l'envoi de colis de nourriture aux prisonniers est autorisé.
Martin Weiss commande Majdanek jusqu'en avril 1944. Il a été envoyé au camp de Lublin le lendemain du massacre, d'Aktion Erntefest, au cours duquel plus de 17 000 personnes ont été assassinées à Majdanek en une seule journée, le 3 novembre. Weiss a pris sur lui de contrôler la situation après le massacre.
Il est alors envoyé au sous-camp de Muhldorf, où des dérives de la Luftwaffe sont mises en place grâce à la main d'œuvre des prisonniers. Face à l'effondrement du front et à l'approche des Américains, Weiss, de retour à Dachau, aurait incité à la reddition du camp aux Alliés, refusant les ordres de Himmler de brûler le camp et d'effacer toute trace d'activité criminelle. Cependant, la veille de l'entrée des Américains, Weiss s'est échappé de Dachau. Un jour plus tard, il est arrêté à Munich.
Lors du procès du personnel de Dachau, qui s'est déroulé en novembre/décembre 1945, Weiss a été reconnu coupable de crimes contre l'humanité pour les actes commis pendant son mandat de commandant de Dachau et des autres camps. Il a été condamné à mort et le verdict a été exécuté le 29 mai 1946.