Родился в еврейской семье. Детство и юность Михаила Голодного прошли в Екатеринославе на улице Александровской (ныне — улица Сечевых Стрельцов в Днепре). После установления Советской власти в городе вместе с комсомольским поэтом Михаилом Светловым стоял у истоков молодёжного рабкоровского движения.

Писать начал в 1919 году. Тогда же вступил в комсомол. Первые стихи напечатаны в местных журналах «Юный пролетарий» (1920), «Молодая кузница» (1924), газете «Грядущая смена» (выходила с 1921 года).

В начале 20-х годов уехал в Харьков, потом в Москву. Учился в рабфаке, затем в Высшем литературно-художественном институте имени В. Я. Брюсова. Продолжил образование в Московском университете. До 1927 года был членом группы «Перевал», а затем включился в работу ВАПП. Член ВКП(б) с 1939 года. Жил в Москве в знаменитом «Доме писательского кооператива» (Камергерский переулок, 2).

В годы Великой Отечественной войны был военным корреспондентом центральных и фронтовых газет.

Центральное место в творчестве Михаила Голодного занимает героика Гражданской войны. Его поэмы, песни, баллады «Верка Вольная», «Судья ревтрибунала», «Песня чапаевца», «Песня о Щорсе», «Партизан Железняк» послужили созданию своеобразного исторического мифа об эпохе 1920—30-х годов. Перевёл на русский язык ряд произведений Т. Г. Шевченко, М. Ф. Рыльского, А. Мицкевича и других авторов.

Погиб 20 января 1949 года при невыясненных обстоятельствах (сбит автомобилем).