Kaji speelde tussen 1998 en 2014 voor Cerezo Osaka, Oita Trinita, FC Tokyo en Gamba Osaka. Vervolgens tekende hij bij het Amerikaanse Chivas USA. De club werd aan het einde van het seizoen opgeheven, waardoor Kaji zonder club kwam te zitten. Even later sloot hij zich aan bij Fagiano Okayama.