Gastiger speelde voor FEC Levallois en Stade Rennais. Hij werd in 1914 voor het eerst opgeroepen voor het Frans voetbalelftal, waar hij op 8 februari 1914 zijn debuut maakte tegen Luxemburg. In zijn tweede interland, tegen Zwitserland (2-2) op 8 maart 1914, scoorde Gastiger zijn eerste interlanddoelpunt. Gastiger was toen 17 jaar, 5 maanden en 5 dagen oud, waarmee hij tot op heden nog steeds de jongste doelpuntenmaker ooit is voor Frankrijk. Zijn derde en laatste interland speelde hij op 28 maart 1920 tegen België.
