"Refugee" is geschreven door zanger Tom Petty en gitarist Mike Campbell en is geproduceerd door Jimmy Iovine en Petty. Campbell vertelde dat het een van de eerste nummers is die hij ooit heeft geschreven, en herinnerde zich: "Ik schreef de muziek en gaf het aan Tom [Petty] en hij schreef er een tekst bij, en toen hij het deed vond hij een manier waarop het refrein hoger klinkt zonder dat de akkoorden werden veranderd." In een interview vertelde Campbell over de opnamesessies: "Dat was een moeilijk nummer om te maken. Het was een viersporenband dat ik thuis maakte. Hij [Petty] schreef over de muziek zoals het was, zonder veranderingen, maar het duurde eeuwen om het op te nemen. We vonden het moeilijk om het juiste gevoel te krijgen. We moeten het zeker 100 keer hebben opgenomen. Ik weet nog dat ik zo gefrustreerd was dat ik op een dag - volgens mij is dat de enige keer dat ik dat ooit deed - de studio uitliep en twee dagen de stad uit ging. Ik kon de druk niet meer aan, maar toen kwam ik terug en toen we hergroepeerden, konden we het toch op de tape krijgen."