Николай Гриценко родился 24 июля 1912 года на станции Ясиноватая в Екатеринославской губернии (Донецкая область).
В школьные годы Гриценко не отличался способностями и прилежанием к учёбе, и доставлял немало хлопот учителям. При этом будущий актёр так виртуозно сочинял всевозможные небылицы, так неподражаемо и уморительно их рассказывал, что смеялись даже педагоги и прощали ученику нерадивость и шалости. Ясиноватские друзья вспоминали, что когда с ними был Гриценко – они часто хохотали до слёз. Николай обладал уникальным талантом перевоплощения, и у него очень рано проявились задатки великого дарования, которому суждено было расцвести спустя годы на столичных подмостках.
Отец Николая - Олимпий Гриценко подходил к воспитанию своих детей очень ответственно, но готовил их больше к практическим ремёслам, чтобы те могли хорошо заработать на хлеб. Вместе с сестрой будущий корифей Вахтанговской сцены обучался игре на скрипке: сперва у скрипача-самоучки Ивана Захаровича, затем в Макеевской музыкальной школе. Но музыка не стала для него призванием и, окончив в 1931-м году Днепропетровский транспортный политехникум, он работал техником-десятником на станции Мушкетово, затем техником-смотрителем зданий на станции Ясиноватая. В 1932-м году Гриценко стал конструктором в техническом отделе металлургического завода "Сталь" в Макеевке. Там Николай поступил на музыкально-драматический рабфак, ещё не зная, что этот шаг определит всю его дальнейшую судьбу. В любительском театре он переиграл все роли, обнаружив недюжинный талант. Мир кулис завладел молодым актёром и, закончив в 1934-м году рабфак, он отправился в Киев, чтобы продолжать учёбу.
Он проучился год в Киевском драматическом техникуме при Музыкально-драматическом институте имени Лысенко, после чего приехал в Москву. В 1935 году он поступил в училище при МХТ-II, спустя год перешел в театральную школу при ЦТКА, и потом - в Театральное училище имени Щукина. Сразу после окончания училища в 1940 году Гриценко приняли в труппу Вахтанговского театра, в котором он прослужил до конца жизни.
Его служба в театре начиналась с небольших ролей. Но даже их Николай Олимпиевич умел сделать заметными. В небольших комедийных ролях ярко проявлялся его незаурядный импровизационный дар, вместе с художником он искал смешные детали костюма своего персонажа, не боялся рискованного грима. Но его смелая фантазия всегда была оправдана внутренней логикой развития образа, подсмотренного в реальной действительности. Поэтому его персонажи, даже самые нелепые и диковинные, были очень убедительны. Юрий Яковлев вспоминал, что, как только он переступил порог театра, ему тотчас рассказали, "что Николай Гриценко начинал с бессловесных проходов по сцене, например в "Дон Кихоте", и – заслуживал аплодисменты".