Nacido el 21 de Abril de 1920 en las cercanías de Viena en un principio sirve en la Artillería Antiaérea para posteriormente ser entrenado como piloto en el año 1940.
En Enero de 1941 es asignado a la Sexta Staffel del JG26 en Francia. Su primer derribo es un Spitfire el 21 de Setiembre y en los primeros meses de 1942 suma dos cazas Británicos más.
Asignado a la primera Staffel es transferido en Setiembre de 1942.
Nueve son sus derribos en Enero de 1943 (incluyendo cinco IL-2) y en el transcurso de Febrero son cinco sus victorias.
En Marzo es transferido a la Tercera Staffel de JG54 y durante ese mes suma once aviones Soviéticos más.
Después de tres derribos en Abril, debido a una enfermedad no vuela hasta finales el mes de Julio cuando regresa al combate al mando de la Tercera Staffel del JG54.
El 2 de Agosto de 1943 recibe la Cruz Alemana en Oro y durante ese mes derriba veintiséis aviones Soviéticos.
Once son sus victorias en Setiembre y a comienzos de Octubre es Transferido como comandante a la Décima Staffel del Ala.
Con su nueva unidad derriba diez aviones en los últimos meses de 1943 y en Enero de 1944 suma quince victorias más (incluidos once IL-2).
Cuatro IL-2 se suman a su lista de victorias en febrero y el 26 de Marzo de 1944 recibe la Cruz de caballero por sus 98 victorias al momento.
En Mayo es trasnferido al Tercer Gruppen del Ala volando en misiones de Defensa del Reich y en el trasncurso de ese mes derriba un P-38 y un B-17 Norteamericanos.
Su unidad es transferida a la zona de Normandía el 6 de Junio de 1944 y ese día Weiss asume el mando del Tercer Gruppen del JG54 (insignia ilustrada debajo).
Con 100 victorias su unidad la más exitosa de la Luftwaffe frente a los Aliados en Normandía. Dieciocho de ellos derribado por el propio Weiss.
El 16 de Agosto de 1944 su unidad es retirada del frente para ser reequipada con el Nuevo FW-190D-9, regresando al combate el 25 de Setiembre.
Después de derribar un Spitfire en Setiembre y un P-38 en Noviembre de 1944, el 29 de Diciembre otro Spitfire es su última victoria.
Ese día en combate contra cazas de la RAF, es derribado por un caza Spitfire del Escuadrón Noruego 331 de la RAF.
Recibe postumamente las Hojas de Roble por sus 121 vitorias, 95 en el Frente Oriental y 26 contra los Aliados Occidentales.
Entre sus derribos se destacan 40 Il-2, 10 Pe-2, 9 Spitfires, 5 P-38 y 3 bombarderos cuatrimotores.
