Smith is afkomstig uit de jeugdopleiding van Tottenham Hotspur. Die club leende hem uit aan Torquay United, Bournemouth, Milton Keynes Dons, Leeds United, Millwall en Derby County. Op 13 mei 2012 debuteerde hij in het shirt van Tottenham in de Premier League tegen Fulham.[3] In januari 2014 tekende de rechtsachter een permanente verbintenis bij Bournemouth, waar hij reeds eerder op uitleenbasis speelde. Tijdens de tweede helft van het seizoen 2013/14 speelde hij vijf competitieduels. Het seizoen erop speelde Smith negenentwintig competitiewedstrijden, waarmee hij een aandeel had in de promotie van Bournemouth.