Николай Рубцов родился 3 января 1936 года в селе Емецке Холмогорского района Северного края (ныне Архангельской области). В 1937 году переехал вместе со своей многочисленной семьёй в Няндому. В 1939—1940 годах отец Рубцова Михаил Андрианович работал начальником Няндомского горпо. В январе 1941 года Михаил Рубцов выбыл из Няндомы в Вологодский горком партии. В Вологде Рубцовых застала война. Летом 1942 года умерли мать и младшая сестра Рубцова, отец был на фронте, и детей распределили в интернаты. Тем же летом 6-летний Николай написал своё первое стихотворение.
Николай и его брат вначале попали в Красовский детский дом, а с октября 1943 года и до июня 1950 года Николай жил и учился в детском доме в селе Никольском Тотемского районаВологодской области, где он окончил семь классов школы (сейчас в этом здании находится Дом-музей Н. М. Рубцова). В этом же селе впоследствии родилась его дочь Елена в фактическом браке с Генриеттой Михайловной Меньшиковой.
В автобиографии, написанной при поступлении в Тралфлот в 1952 году, Николай пишет, что отец ушёл на фронт и погиб в 1941 году. Но на самом деле Михаил Адрианович Рубцов (1900—1962) выжил, после ранения в 1944 году вернулся в Вологду и в том же году женился вторично, жил в Вологде[2][3]. Из-за утери документов в Красовском детдоме он не смог найти Николая и встретился с ним только в 1955 году[3].
С 1950 года по 1952 год Рубцов учился в Тотемском лесотехническом техникуме. С 1952 года по 1953 год работал кочегаром в архангельском траловом флоте треста «Севрыба», с августа 1953 года по январь 1955 года учился на маркшейдерскомотделении в горно-химическом техникуме Минхимпрома в Кировске Мурманской области. В январе 1955 не сдал зимнюю сессию и был отчислен из техникума. С марта 1955 года Рубцов был разнорабочим на опытном военном полигоне.
С октября 1955 года по октябрь 1959 года проходил срочную службу дальномерщиком на эсминце «Острый» Северного флота (в звании матроса и старшего матроса)[4]. Первого мая 1957 года состоялась его первая газетная публикация (стихотворение «Май пришёл») в газете «На страже Заполярья»[4]. После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе.