Михаил Ромм родился в 1901 году в Иркутске. Известно, что дед его был владельцем типографии в Вильне. Когда мальчик появился на свет, его отец, один из старейших русских социал-демократов, отбывал ссылку в Сибири, по окончании которой семья переехала в Москву.
После Гражданской войны Михаил поступил в Высший художественно-технический институт на факультет скульптуры, который тогда вёл знаменитый Сергей Конёнков. По окончании учебного заведения юноша получил экзотическую по современным меркам, но отвечавшую духу времени специальность скульптора и переводчика. Началась бурная жизнь, типичная для творческого человека 1920-х: литературные и театральные подработки, газетный труд, написание киносценариев, переводы с французского.
Более тесно Ромм соприкоснулся с киномиром, когда стал научным сотрудником по вопросам кино в Институте методов внешкольной работы. В 1931 году он пришёл в кинематограф окончательно, начав работать на «Совкино» (позднее киностудия «Мосфильм»). Там состоялся его дебют как сценариста и ассистента режиссёра.