Сначала он работал слесарем, а затем – служащим в местном муниципалитете. С 1932 г. Граф начал летать на планерах, а в 1936 г. получил лицензию пилота самолета. В 1936 – 38 гг. он прошел летную подготовку как резервист Люфтваффе. В 1939 г. его призвали на действительную службу, и 31 мая он в звании унтер-офицера прибыл в 2./JG51. В сентябре того же года Граф получил звание фельдфебеля. После начала войны он совершил 20 боевых вылетов над французско-германской границей, но ни разу не вступил в бой с противником. 20.01.1940 г. его направили инструктором в Eg.Gr.Merseburg, и затем 1 мая присвоили звание лейтенанта. 6 октября Граф был назначен в 9./JG52 и уже 14 октября вместе с ней прибыл в Румынию, где снова в качестве инструктора обучал румынских истребителей. В мае 1941 г. он участвовал в операции по захвату острова Крит, совершая вылеты на штурмовку наземных целей. В конце июля Граф в составе III./JG52 прибыл на Восточный фронт. 4 августа он одержал первую победу, сбив в 10 км юго-восточнее Киева И-16, а 6 сентября записал на счет пятый самолет. 27 сентября Граф сбил ДБ-3, но при этом ответным огнем бортстрелков был поврежден и его Bf-109. Он все же смог дотянуть до расположения немецких войск и благополучно приземлиться. В течение октября Граф сбил пять МиГ-3, три Як-1, И-16, И-153, СБ-2 и Р-5 и 28 октября довел свой счет до 20-ти побед. 29 ноября он одержал 30-ю победу, а 27 декабря – 40-ю. 08.01.1942 г. Граф записал на счет 45-й самолет, и 24 января был награжден RK. Сбив 23 марта два Як-1 и Су-2, он достиг рубежа в 50 побед. На следующий день его назначили командиром 9./JG52. Число его побед продолжало быстро расти. Так, 28 марта он сбил четыре самолета, 30 апреля – шесть, 2 мая и 8 мая – по семь, 13 мая – шесть, а 14 мая – восемь. Теперь на его счету были 104 победы, и он стал седьмым по счету пилотом Люфтваффе, преодолевшим рубеж в 100 побед. 17 мая Граф сначала получил RK-EL (Nr.93), а затем 19 мая – еще и RK-S (Nr.11). В августе – сентябре 1942 г. в ходе боев в районе Сталинграда он совершал ежедневно по пять боевых вылетов. С 3 по 30 августа он сбил восемь ЛаГГ-3, по четыре Ил-2, И-16, И-153 и Як-1, два И-180, «Харрикейн», По-2 и Р-5 и достиг рубежа в 140 побед. Затем 2 – 26 сентября на его счету были 19 Як-1, 12 ЛАГГ-3, восемь Ла-5, семь Р-40, пять Ил-2, четыре И-16, три Су-2, два И-153, А-20 «Бостон» и Пе-2. Число его побед достигло 202-х, и обер-лейтенант Граф стал первым пилотом, превысившим рубеж в 200 побед. Еще 16 сентября за 172 победы его наградили RK-Br (Nr.5). В тот период он сам ходил буквально по лезвию бритвы. Так, 15 сентября в кабину его Bf-109 попал снаряд, 16 сентября он вернулся на самолете, имея 30 попаданий, 19 сентября в ходе одного вылета крылья его «Мессершмитта» сначала были пробиты огнем с земли, а затем в ходе другого вылета на самолете была отстреляна половина руля направления. В начале января 1943 г. гауптман Граф был ранен в руку и после выхода из госпиталя получил отпуск. Весной ему присвоили звание майора и назначили командиром Erg.JGr.Ost, базировавшейся во Франции. В июне он сбил британский высотный разведчик «Москито». 21 июля Граф возглавил JGr. Süd der ObdL (с 15.08.1943 г. – JG50). Ее планировалось вооружить высотными истребителями для борьбы с «Москито». 6 сентября он сбил два В-17 из 100 BG, и его счет достиг 205-ти побед. В начале октября JG50 распустили. После этого оберст-лейтенант Граф сначала исполнял обязанности командира JG1, а затем 11 ноября возглавил JG11. К
