В 1902 году Соломон Гроссман вступил в Бунд и РСДРП, а после её раскола в следующем году и до 1906 года был меньшевиком; до выхода на пенсию и переезда в Москву работал инженером в Донецком угольном бассейне и других шахтах страны. Мать — Екатерина Савельевна Гроссман (урождённая Малка Зайвелевна Витис; 1872–1941), также из состоятельного семейства, перебравшегося из Немирова Подольской губернии в Кишинёв, когда она была ребёнком; получила образование во Франции и преподавала в Бердичеве французский язык. Три старшие сестры матери — Анна (ум. 1935), Мария (род. 1858) и Елизавета (род. 1860) в 1884 году привлекались к дознанию по делу о кишинёвском революционном кружке; ввиду политической неблагонадёжности им была воспрещена педагогическая деятельность и поступление на высшие женские курсы.

Родители Василия Гроссмана оформили брак в 1900 году в Турине, но развелись, когда он был ребёнком, и он воспитывался матерью. Ещё в детстве уменьшительная форма его имени Йося превратилась в Вася и стала впоследствии его литературным псевдонимом. После развода Екатерина Савельевна с сыном жила в семье своей сестры Анны и её мужа — доктора Давида Михайловича Шеренциса (1862–1938) в Бердичеве.

Когда Иосифу было 6 лет (февраль 1912 года), он вместе с матерью поехал в Швейцарию, где с марта 1912 года учился в начальной школе на улице Roseraie в Женеве. В октябре 1913 года они перебрались в Лозанну, а в мае 1914 года возвратились в Киев, где жил его отец. В том же году он поступил в приготовительный класс Киевского реального училища 1-го общества преподавателей, где учился до 1919 года. В годы Гражданской войны уехал с матерью в Бердичев, где вновь поселился в доме доктора Д. М. Шеренциса (мать писателя жила в этом доме вплоть до начала Великой Отечественной войны), учился и работал пильщиком дров.

В 1921 году Гроссман окончил школу и до 1923 года жил с отцом и учился на подготовительном курсе Киевского высшего института народного образования, затем перевёлся на химическое отделение физико-математического факультета 1-го Московского государственного университета, которое окончил в 1929 году. В январе 1928 года он женился на Анне Петровне Мацук, но некоторое время супруги жили раздельно (он — в Москве, жена — в Киеве). Три года работал инженером-химиком в Макеевском научно-исследовательском институте по безопасности горных работ и заведовал химической (газово-аналитической) лабораторией на угольной шахте «Смолянка-11» в Донбассе, затем старшим научным сотрудником химической лаборатории в Донецком областном институте патологии и гигиены труда и ассистентом кафедры общей химии в Сталинском медицинском институте. В 1933 году переехал с женой в Москву, где поселился в семье старшей сестры матери Елизаветы Савельевны Алмаз и стал работать старшим химиком, а затем заведующим лабораторией и помощником главного инженера на карандашной фабрике имени Сакко и Ванцетти.

Литературной деятельностью Василий Гроссман занялся в конце 1920-х годов и уже в 1928 году отослал один из своих первых рассказов для публикации в «Правде». В это же время он сделал выбор между научной работой и литературой — в пользу последней (подробно свой выбор он обосновывал в письмах этого периода к отцу). В 1929 году в журнале «Огонёк» публикует очерк «Бердичев не в шутку, а всерьёз». В апреле 1934 года в «Литературной газете» был опубликован рассказ о Гражданской войне «В городе Бердичеве», ставший дебютной художественной публикацией писателя. В том же году при поддержке Максима Горького опубликовал в газете «Литературный Донбасс» повесть из жизни шахтёров Донбасса «Глюкауф». Успех этих произведений укрепил Гроссмана в желании стать профессиональным писателем. В 1935, 1936 и 1937 годах издавались сборники его рассказов, в 1937–1940 годах — две части эпической трилогии «Степан Кольчугин» о революционном движении от 1905 года до Первой мировой войны.

В 1933 году была выслана из Москвы, а в 1936 году повторно арестована по обвинению в троцкизме и осуждена на три года ИТЛ его двоюродная сестра, сотрудница Профинтерна Надежда Моисеевна Алмаз (1897 — ?), дружба с которой оказала на него большое влияние после переезда в Москву. Гроссман оказывал ей материальную поддержку всё время её пребывания в ссылке. В 1933 году он расстался с первой женой и в октябре 1935 года поселился с Ольгой Михайловной Губер (женой его близкого друга, писателя Бориса Губера) в Серебряном переулке у её сестры Евгении Михайловны, пока в 1937 году супруги не получили две комнаты в коммунальной квартире в Брюсовском переулке (их брак был оформлен в 1936 году).

В 1937 г. Борис Губер был арестован и расстрелян. Ольга Губер была также арестована как член семьи «врага народа». Тогда Гроссман оформил опекунство над её двумя сыновьями и направил письма М.Калинину и в НКВД с просьбой освободить Ольгу Губер на том основании, что она уже несколько лет фактически была женой не Бориса Губера, а Гроссмана. Ольга Губер была освобождена.

Летом 1941 года Василий Гроссман был мобилизован в армию, ему было присвоено звание интенданта 2-го ранга. С августа 1941-го по август 1945 года служил специальным военным корреспондентом газеты «Красная звезда» на Центральном, Брянском, Юго-Западном, Сталинградском, Воронежском, 1-м Белорусском и 1-м Украинском фронтах. В 1942 году написал повесть «Народ бессмертен», ставшую его первым крупным произведением о Великой Отечественной войне.

Во время немецкой оккупации города Бердичева мать писателя Екатерина Савельевна была переселена в гетто и 15 сентября 1941 года расстреляна в ходе одной из акций уничтожения еврейского населения в Романовке. До конца жизни писатель писал письма своей погибшей матери. Её история будет отражена в посвящённом ей романе «Жизнь и судьба»: мать Виктора Штрума тоже будет убита нацистами при уничтожении еврейского гетто. Жившая на протяжении 1930-х годов с Екатериной Савельевной в Бердичеве единственная дочь писателя Екатерина в начале июня 1941 года была отправлена в пионерский лагерь и с началом боевых действий вместе с матерью, сёстрами и отчимом эвакуирована в Ташкент.

Во время битвы за Сталинград В. С. Гроссман находился в городе с первого до последнего дня уличных боёв. За участие в Сталинградской битве, в том числе в боях на передовой линии обороны, награждён орденом Красной Звезды. В 1943 году ему было присвоено звание подполковника. На мемориале Мамаева кургана выбиты слова из его очерка «Направление главного удара»: «Железный ветер бил им в лицо, а они всё шли вперёд, и снова чувство суеверного страха охватывало противника: люди ли шли в атаку, смертны ли они?». Повести «Народ бессмертен», «Сталинградские очерки», другие военные очерки сложились в книгу 1945 года «Годы войны».

В. С. Гроссман был в числе корреспондентов, первыми ступивших в освобождённые советскими войсками концлагеря Майданек и Треблинка. Описание увиденного в Майданеке было поручено Константину Симонову, а о Треблинке в конце 1944 года Гроссман опубликовал статью «Треблинский ад», открывшую тему Холокоста в СССР. После войны Гроссман и Илья Эренбург составили «Чёрную книгу» — сборник свидетельств и документов о Холокосте. «Чёрная книга» была издана на английском языке в 1947 году в Нью-Йорке, но русское её издание тогда так и не появилось; набор был рассыпан в 1948 году; идеологическая установка требовала не выделять ни одну национальность в рамках всего пострадавшего в ходе войны населения СССР. Первое издание на русском вышло лишь в 1980 году с купюрами в Израиле.

Пьеса «Если верить пифагорейцам», написанная перед Великой Отечественной войной и опубликованная в 1946 году в журнале «Знамя», была негативно оценена критикой за якобы неверное понимание исторического процесса.

С 1946 по 1959 год работал над дилогией «За правое дело» и «Жизнь и судьба». Эпический роман «За правое дело» (1952), написанный в традициях Л. Н. Толстого и повествующий о Сталинградской битве, Гроссман вынужден был переработать после разгромной критики в партийной печати. На Втором съезде Союза писателей СССР в 1954 году А. А. Фадеев признал, что его критика романа как «идеологически вредного» была несправедливой.

Рукопись продолжения опубликованного в «Новом Мире» романа «За правое дело» — романа «Жизнь и судьба», носящего резко антисталинский характер, над которым писатель работал с 1950 года, была отдана автором для публикации в редакцию журнала «Знамя». В феврале 1961 года были конфискованы копии рукописи и черновики при обыске КГБ дома Гроссмана. Была изъята и копия романа, находившаяся для перепечатки в редакции журнала «Новый Мир». Главный редактор журнала «Знамя» В. М. Кожевников сам отдал свой экземпляр в КГБ.

В конечном счёте, Гроссмана принял член Политбюро М. А. Суслов, огласивший подготовленное референтами (сам он роман не прочёл) решение о том, что о возврате рукописи «не может быть и речи», и что роман может быть напечатан в СССР не раньше, чем через 200–300 лет.

Другая копия романа, сохранённая другом Гроссмана поэтом С. И. Липкиным, в середине 1970-х, уже после смерти писателя, с помощью А. Д. Сахарова и В. Н. Войновича была вывезена на Запад. Роман был опубликован в Швейцарии в 1980-м, его расшифровали с микрофильма профессора-эмигранты Ефим Эткинд из Парижа и Шимон Маркиш из Женевы, последний способствовал изданию в Лозанне. В СССР роман вышел с купюрами в 1988 году, во время перестройки.

Вместе с «Жизнью и судьбой» была конфискована рукопись повести «Всё течёт», затрагивавшей тему возвращения человека из сталинских лагерей, над которой Гроссман работал с 1955 года. Писатель создал новый вариант повести, который завершил в 1963 году (публикация за рубежом — 1970, в СССР — 1989).

После ареста «антисоветских» рукописей Гроссман почти потерял возможность публиковаться. Потрясение подточило здоровье писателя и, по мнению ряда биографов, ускорило его смерть. Василий Гроссман умер от рака почки после неудачной операции 14 сентября 1964 года. Похоронен в Москве на Троекуровском кладбище.

Посмертно издан сборник рассказов и очерков «Добро вам!» (1967, с купюрами), написанный после двухмесячной поездки в Армению уже после изъятия его последнего романа. Очерки и записные книжки военных лет вошли в сборник «Годы войны». В 1990 году под одним переплётом вышли две книги воспоминаний о Гроссмане: «Жизнь и судьба Василия Гроссмана» Семёна Липкина и «Прощание» Анны Берзер.

25 июля 2013 представители ФСБ передали Министерству культуры рукописи романа «Жизнь и судьба».