Valdifiori is afkomstig uit de jeugdopleiding van AC Cesena. In totaal speelde hij drie competitieduels voor die club, die hem uitleende aan AC Pavia en AC Legnano. In juni 2008 werd hij verkocht aan Empoli. Op 9 augustus 2008 debuteerde Valdifiori voor Empoli in een competitiewedstrijd tegen Vicenza Calcio, in de Serie B.[2] Op 28 november 2008 maakte hij zijn eerste competitietreffer voor Empoli, thuis tegen zijn ex-club Cesena.[3] In 2014 promoveerde hij met de club naar de Serie A. Op 31 augustus 2014 debuteerde Valdifiori op achtentwintigjarige leeftijd in de Serie A, in een uitwedstrijd tegen Udinese.[4] Hij eindigde dat seizoen op de vijftiende plaats met zijn club, goed voor lijfsbehoud.
Na zeven seizoenen bij Empoli tekende Valdifori in 2015 een contract bij SSC Napoli, de nummer vijf van de Serie A in het voorgaande seizoen.
In maart 2015 werd Valdifiori door bondscoach Antonio Conte geselecteerd voor Italië, dat een EK-kwalificatiewedstrijd moest spelen tegen Bulgarije en een vriendschappelijke interland tegen Engeland. In het duel tegen het Engels elftal (1–1 gelijkspel) maakte hij zijn debuut; Valdifiori startte in de basis, waarna in de 67ste minuut Marco Verratti hem verving.[5]