Nacido en 1909 en el seno de una familia de granjeros, Gössmann ingresó en las fuerzas armadas en 1936. Su primera unidad fue el 199.º Regimiento de Infantería de la 57.ª División de Infantería.
Aprovechó la oportunidad que se le ofrecía e ingresó en la banda de música, donde tocó el clarinete. Con el comienzo de la guerra la banda, de 38 miembros, tocaba en ceremonias religiosas, funerales, ceremonias de condecoraciones y hospitales de campaña. A finales de 1940 fue asignado a una unidad de combate y en 1941 participó en la invasión de la Unión Soviética, Operación Barbarroja, como jefe de escuadra en la 2.ª Compañía de su regimiento. Gössmann destacó inmediatamente en los combates y no tardó en ser condecorado con la Cruz de Hierro de Segunda Clase y en recibir la insignia de Asalto de Infantería.