Cohen acudió a la Roslyn Elementary School y, desde 1948, a la Westmount High School, donde se involucró en el consejo de estudiantes y estudió música y poesía. Al poco tiempo y durante su adolescencia, comenzó a interesarse por la poesía de Federico García Lorca. Aprendió a tocar la guitarra y formó The Buckskin Boys, un grupo decountry-folk. Aunque comenzó tocando una guitarra acústica, pronto pasó a tocar una guitarra clásica, tras conocer a un joven guitarrista español que le enseñó «unos cuantos acordes y un poco de flamenco»En 1967, decepcionado por su falta de éxito como escritor, Cohen se trasladó a los Estados Unidos para comenzar una carrera como cantautor folk. Su canción «Suzanne» fue un notable éxito de la mano de Judy Collins, y durante muchos años fue su canción más versionada. Tras tocar en varios festivales de folk, ganó la atención de John H. Hammond, representante de Columbia Records, que años antes fichó a Bob Dylan para la compañía.