Originariamente pubblicata nel 1987 come b-side del singolo Where the Streets Have No Name, il brano è stato in seguito riregistrato e ripubblicato come singolo per il greatest hits The Best of 1980-1990 nel 1998. La canzone ha raggiunto la vetta delle classifiche sia in Canada che in Irlanda e la terza nel Regno Unito.
Il brano è stato scritto da Bono per scusarsi con sua moglie Alison Hewson per essersi dimenticato del suo compleanno durante le sessioni di The Joshua Tree. Su richiesta di Alison, è stato utilizzato per raccogliere fondi per l'organizzazione umanitaria che si occupa dei bambini di Černobyl'.
Per promuovere il singolo nel 1998, la Island Records ha distribuito delle barrette di cioccolata Sweetest Thing, confezionate per sembrare un CD, in tutta Europa. Questi prodotti sono diventati degli oggetti molto ricercati fra i collezionisti nei primi anni del 2000.
