Песню группе предложил барабанщик коллектива Билл Берри. У него был только куплет, припева и проигрыша не было - то есть была чисто одноминутная песня в стиле кантри. Группой было рассмотрено много разных идей до тех пор, пока они не решили сделать ее в в духе соул-композиции “Pain in My Heart”, записанной Отисом Реддингом.
Когда же речь зашла об аранжировке, было решено не использовать живые барабаны Била Берри, а использовать драм-машину. В итоге в песне по-настоящему живьем были записаны только вокал Майкла Стайпа и гитара Питера Бака.