독일 제국 바흐하겐에서 태어난 그라프는 고교졸업 후 군대에 들어갔지만 1904년에 부상을 입어 제대했다. 그 후 뮌헨에서 공무원으로 일한 후 정육점을 운영했다. 제1차 세계 대전 후 나치당의 전신인 독일 노동자당에 참가하여 1921년에 정식으로 나치당에 입당해 당원이 되었다.
아마추어 레슬러이기도 했던 그라프는 1920년부터 1923년까지 아돌프 히틀러의 보디가드로 일했는데 1923년의 뮌헨 폭동때 경찰대에게서 총격을 받았을 때 히틀러 앞에서 섰다가 대신 총탄을 맞고 큰 부상을 당했다. 울리히 그라프는 총탄을 맞으면서도 <쏴라! 히틀러, 루덴도르프 각하 앞이다!!>이라며 외쳤다. 그 후 그라프는 히틀러로부터 1923년에 혈맹훈장을 수여받았다. 1924년2월에 뮌헨시의 시의회 의원이 된 그라프는 1925년1월 1일에 재건된 나치당에 복당했는데 친위대가 조직되자 그 초창기 멤버가 되었다. (대원번호 26번) 1936년에는 나치당의 국회의원으로 당선되기도 한 그라프는 1943년에 친위대 소장(여단지도자)까지 진급했다.