Виктор Драгунский родился 1 декабря[1] 1913 года в Нью-Йорке, в еврейской семье. Его родители, эмигранты из Гомеля, прибыли в США и поселились в Бронксе незадолго до рождения сына. Отец Юда Фалькович Перцовский (1894—1918) и мать Рита Лейбовна Драгунская (1895—1967, родом из уездного городка Старобыхова Могилёвской губернии) поженились 26 февраля 1913 года ещё в Гомеле.[2][3][4] Не прижившись в Америке, в июле 1914 года семья вернулась в Гомель.
В 1918 году отец Виктора умер от тифа (по другим данным, погиб при невыясненных обстоятельствах). Отчимом стал ревком города Ипполит Иванович Войцехович, красный комиссар, погибший в 1920 году. В 1922 году появился другой отчим — актёр водевильного еврейского театра (труппы Клары Юнг) Менахем-Мендл Хаимович Рубин (1894—1962)[5][6], вместе с которым семья ездила в гастрольные поездки по стране. В 1925 году переехали в Москву, где Рубин с Ильёй Триллингом (1895—1947)[7] организовали собственную труппу. В дальнейшем Менахем Рубин оставил семью и стал режиссёром еврейского театра в Америке.
Виктор рано начал работать. В 1930 году, уже работая, он стал посещать «Литературно-театральные мастерские» А. Дикого. В 1935 году начал выступать как актёр в Театре транспорта (ныне Театр им. Н. В. Гоголя).