효고현 미나미아와지시에서 태어났다. 초등학교 시절부터 축구를 시작하였고, 세이료 고등학교를 거쳐 1998년 J리그의 오이타 트리니티 (당시에는 오이타 트리니티)에 입단하며 프로 선수 생활을 시작한다. 오이타에서 꾸준히 성장하며 주전으로 활약하였고, 팀의 J2리그 승격에 공헌한다.
2002년, 가지는 FC 도쿄로 이적한다. FC 도쿄에서 그는 기량을 만개하며 J리그를 대표하는 오른쪽 풀백으로 성장한다. 날카로운 오버래핑과 정확한 크로스는 팀의 공격에 활력을 불어넣었고, 수비에서도 헌신적인 모습을 보여주었다. FC 도쿄에서 그는 2004년 J리그컵 우승을 경험한다.
2006년, 가지는 감바 오사카로 이적한다. 감바 오사카에서도 그는 핵심 선수로 활약하며 팀의 전성기를 이끈다. 2008년에는 AFC 챔피언스리그 우승을 차지하였고, FIFA 클럽 월드컵에도 출전하여 팀의 3위 입상에 기여한다. 감바 오사카에서 그는 J1리그 우승 (2005년), 일왕배 우승 (2008년, 2009년), J리그컵 우승 (2007년) 등 수많은 우승 트로피를 들어올린다.