La canzone venne originariamente registrata come pezzo acustico per il primo album del duo, Wednesday Morning, 3 A.M., del 1964, ma in seguito furono aggiunte le parti degli strumenti elettrici ed uscì come singolo. Nel 1965 Paul Simon la inserì nel suo primo LP solista registrato a Londra, "The Paul Simon Songbook". L'anno seguente il singolo scalò lentamente le classifiche e raggiunse il numero uno il giorno di Capodanno del 1966. La canzone fu quindi inclusa nell'album Sounds of Silence (1966).
Nella canzone Paul Simon suona la chitarra acustica, mentre a cantare sono sia lui che Art Garfunkel.
Inizialmente la canzone era intitolata "The Sounds of Silence", ed è con questo nome che è apparsa sui primi album e sul singolo. Nelle raccolte successive il titolo fu cambiato in "The Sound of Silence". Entrambe le forme del nome sono presenti nel testo della canzone.
