Wilffert speelde in de jeugdopleiding van AZ en maakte later de overstap naar FC Volendam, waar hij de gehele opleiding doorliep. In de zomer van 2013 werd hij doorgeschoven naar de eerste selectie. Op 3 augustus maakte de verdediger als basisspeler zijn debuut tijdens het duel met Almere City (2–3 winst). Hij werd twintig minuten voor tijd afgelost door aanvaller Henk Veerman. Na het seizoen 2014/2015 kreeg hij te horen dat zijn contract bij FC Volendam niet verlengd zou worden. Op 22 juni 2015 tekende Wilffert voor Hoofdklasser OFC uit Oostzaan. Die club nam hem transfervrij over van FC Volendam. Een jaar later verkaste Wilffert naar Tweede divisionist Koninklijke HFC uit Haarlem. Hier verlengde hij in december 2018 zijn verbintenis met een jaar tot medio 2020.[1] Na zeven seizoenen bij HFC stapte Wilffert over naar vv Noordwijk.[2]