В 1933, после ареста отчима за недостачу в сельмаге, которым тот заведовал, Воробьёв стал работать. Плату за работу грузчиком в магазине он получал хлебом, что позволило семье выжить в голодный год.
Окончив сельскую школу, Воробьёв поступил в Мичуринский сельхозтехникум, но через 3 недели вернулся в село. Окончил курсы киномехаников, полгода ездил с кинопередвижкой по окрестным деревням.
В 1935 Воробьёв стал селькором районной газеты и даже некоторое время работал в ней литературным инструктором. Но вскоре Воробьёва уволили из редакции «за преклонение перед царской армией». Поводом для увольнения стало увлечение Воробьёва историей Отечественной войны 1812. «Идеал русского офицера времен Отечественной войны покорил его воображение. Это было соприкосновение с тем миром, который помогал сохранить в себе чувство чести, достоинства, совести...»
После увольнения Воробьёв уехал в Москву к сестре. В Москве работал ответственным секретарем редакции фабричной газеты, окончил вечернюю среднюю школу.
В окт. 1938 Воробьёв был призван в армию. Служил в частях, расположенных в Западной Белоруссии; в 1939 работал в редакции военной газеты.
В дек. 1940 Воробьёв, возвратившись из армии, работал в редакции газ. Военной академии им. Фрунзе. Оттуда его направили на учебу в военное училище им. Верховного Совета РСФСР.
В окт. 1941 в составе роты кремлевских курсантов Воробьёв попал на фронт. В дек. под Клином он оказался в плену. За время плена прошел клинский, ржевский, смоленский, каунасский, саласпилсский лагеря для военнопленных, паневежисскую и шяуляйскую тюрьмы. Дважды бежал, командовал партизанским отрядом, был в подполье.
В 1943 в шяуляйском подполье за 30 дней написал повесть о пережитом в плену. «Повесть эта, — как отметил писатель-фронтовик В.Кондратьев, — не только явление литературы, она — явление силы человеческого духа, потому как... писалась как исполнение священного долга солдата, бойца, обязанного рассказать о том, что знает, что вынес из кошмара плена...».
В 1946 рукопись повести была отправлена в «Новый мир», но не опубликована. У самого писателя полного экземпляра повести не сохранилось, только в 1985 рукопись обнаружилась в архиве журнала, хранящемся в РГАЛИ, и была напечатана уже после смерти автора под названием «Это мы, Господи!..».
После освобождения Шяуляя Воробьёв был назначен начальником штаба МПВО, организованного на базе партизанской группы. Работая на этой должности, Воробьёв смог помочь многим из бывших пленных. «Он отстоял жизнь и будущее всех, кто был в его отряде и кто обращался потом, после прихода наших войск», — вспоминала его жена.
В 1947 Воробьёв был демобилизован, переехал в Вильнюс, работал в разных снабженческих и торговых организациях, в 1952 даже заведовал магазином.
В эти же годы Воробьёв работал над повестью о литовской послевоенной деревне. В 1948 она была закончена, но напечатана только через 10 лет в журнале «Нева» под названием «Последние хутора».
Первая же публикация Воробьёва — рассказ «Ленька» — состоялась в 1951 в милицейской газете. В следующем году несколько рассказов Воробьёва были напечатаны в республиканской газете «Советская Литва». Рассказы эти, как говорил сам В., были «наивно сентиментальны и даже милы своей простодушностью».
В 1956 в Вильнюсе вышел первый сборник рассказов Воробьёва «Подснежник».
В 1958 в Литве был издан второй сборник — «Седой тополь». В это же время Воробьёв начал печататься в России — в журнале «Нева» были опубликованы рассказ «Ермак» и повесть «Последние хутора».
После выхода первого сборника Воробьёв оставил мешавшую творчеству работу в торговле, но быстро выяснилось, что на гонорары прожить трудно. Воробьёв, как он говорил, «пошел служить» — стал заведующим отделом литературы и искусства газеты «Советская Литва». Но и газетная повседневная работа мешала основному делу — писательству.
В 1961 Воробьёв, наконец, получил возможность оставить газетную службу.
В начале 1960-х Воробьёв написал две небольшие повести о войне: «Убиты под Москвой» (1961) и «Крик» (1962). Правда, вторая из них была опубликована раньше первой. «Убиты под Москвой» была напечатана в февр. 1963 в журнале «Новый мир», Воробьёв считал эту повесть своей удачей и гордился ее публикацией именно в «Новом мире». В основу обеих повестей легли личные впечатления и переживания автора во время боев под Москвой. Повести, по замечанию одного из критиков, «художественно восстанавливали «первичную действительность» войны, ее реальное обличье, увиденное в упор».
Именно это «реальное обличье» войны вызвало полное неприятие повестей В. официальной критикой. Она воспринимала их как «искажение правды о войне». Писателя стали постоянно упрекать «за настроение безысходности, бессмысленности жертв». В конце концов результатом таких критических нападок стало молчание о творчестве Воробьёва.
После выхода в свет военных повестей Воробьёв в 1960-е опубликовал ряд повестей о довоенной деревне, написанных в значительной мере на основе впечатлений собственного детства и юности: «Сказание о моем ровеснике» (1963), «Почем в Ракитном радости» (1964), «Друг мой Момич» (1965). Последнюю из этих повестей Воробьёв задумывал как часть большого романа. Позднее она стала самостоятельным произведением, но полностью опубликовать ее долго не удавалось. Набор сборника, куда она была включена в московском издательстве «Советская Россия», был рассыпан. В Вильнюсе удалось в 1967 напечатать часть повести под названием «Тетка Егориха». Полностью повесть «Друг мой Момич» была издана только после смерти писателя в одноименном сборнике в 1988. Сам Воробьёв считал ее «выполнением своего гражданского долга, изобразив правду о гибели русской деревни».
В 1971 была опубликована в журнале «Наш современник» и вышла в Вильнюсе отдельной книгой повесть Воробьёва «Вот пришел великан...» — книга о несчастливой любви, разрушенной обывательским ханжеством, противостоять которому оказывается не в силах героиня. Об этой повести Воробьёв в одном из писем говорил: «Хотелось провести там мысль, что не стало личности, индивидуальности...»
До 1974 Воробьёв работал над оставшейся неоконченной книгой «...И всему роду твоему». Повесть, по словам жены писателя, задумывалась «как отчет о прошлом и настоящем и раздумья о будущем». Очевидно, что писатель отдал главному герою, Родиону Сыромукову, не только многое из своей биографии, но и свои размышления о мире и жизни в нем, свое беспокойство за будущее, за судьбу детей в этом мире и в этом будущем.
Много раз Воробьёв, начиная работу над очередной повестью, полагал, что пишет часть большого романа. Большой роман он так и не написал, роман в традиционном понимании. Однако повести, объединенные общностью биографий и характеров героев, постепенно составили тот роман, о котором Воробьёв сказал: «Я и в самом деле пишу роман. Сюжет его — просто жизнь, просто любовь и преданность русского человека земле своей, его доблесть, терпение и вера».