Mendelsztam urodził się w Warszawie, znajdującej się w końcu XIX wieku w wielkim imperium carów. Ze względu na zamożność rodziny (ojciec był kupcem, matka przedstawicielką żydowskiej inteligencji z Wilna) odebrał dobre wykształcenie domowe a potem uczył się w elitarnej szkole, a następnie studiował w Paryżu, Heidelbergu i Sankt Petersburgu, zgłębiając literaturę francuską i filozofię.

W młodości związał się z ruchem rewolucyjnym, przyjął chrzest, ale kilkakrotnie zmieniał wyznania i traktował ten krok jako próbę poprawy swojego położenia społecznego. W Rosji carskiej przedstawiciele wspólnoty żydowskiej byli bowiem pozbawieni szeregu praw i możliwości realizacji kariery zawodowej i artystycznej (m.in. obowiązywało numerus clausus na rosyjskich uniwersytetach). Analiza jego twórczości przywodzi na myśl, że Mendelsztam przyjmował hybrydalną postawę Chrześcijańskiego Żyda, choć w sensie duchowym religijność była dla niego sprawą dość odległą.

Osip Mendelsztam debiutował w piśmie "Apollon" w 1910 r. Jego twórczość inspirowana była kulturą klasyczną, choć niekiedy pojawiały się w niej także wątki żydowskie.

Stało się to za sprawą dramatycznych wydarzeń I wojny światowej i rewolucji 1917 r., oraz antysemityzmu zbierającego swoje krwawe żniwo. Poeta zainteresował się wtedy żydowską historią i wyraźnie elementy jego żydowskiej tożsamości uwypukliły się na nowo. W jego twórczości odnaleźć można także wybitną prozę (np. „Podróż po Armenii”).

W latach trzydziestych, podczas reżimu stalinowskiego, jego dzieła nie mogły być już oficjalnie publikowane. W 1934 r. został zesłany na osobisty rozkaz Stalina. Wypuszczony w 1937 r. i ponownie zesłany w kolejnym roku zmarł w drodze na Kołymę. Jego niezależność i brak skłonności do moralnych kompromisów nie mogły być zaakceptowane przez stalinowski reżim, czyniący z kultury kolejne narzędzie zniewolenia ludzi.