В начале XVI века прежние владельцы Несвижа Кишки построили деревянный замок на месте Старого парка, севернее современного замка. После перехода Несвижа под власть Радзивиллов замок был перестроен. Предположительно, это произошло в 1547 году по инициативе Николая Радзивилла Чёрного и по проектам голландских военных инженеров. На гравюре Несвижа Томаша Маковского начала 1600-х годов деревянный замок ещё существует, но называется он «домом старосты» ; до сегодняшнего дня это сооружение не сохранилось. 7 мая 1583 года Николай Радзивилл Сиротка заложил каменный замок южнее деревянного. Именно этот день традиционно считается датой основания замка.
К началу русско-польской войны 1654—1667 годов в замке располагалось 28 пушек Два из четырёх орудий калибра 20-24 фунта (лучшие пушки в замке) были расположены на западном бастионе и прикрывали это самое опасное направление [6]. Их главной задачей было уничтожение артиллерии противника, в то время как для поражения живой силы наступающих войск предназначались небольшие орудия (фальконеты калибром 1-4 фунта) [6]. Бо́льшая часть пушек была отлита в самом замке, некоторые привозились из других крепостей
Во время войны 1654-1667 годов замок выдержал две осады русских войск, в 1654 и 1659 годах (по другим данным, в 1655 и 1660 годах) [8]. Во время первого взятия города российские войска штурмовали и замок, но безуспешно. Тем не менее, дворцово-замковому комплексу был нанесён большой урон. Ещё в 1658 году многие комнаты на верхних этажах дворца оставались повреждёнными, а на восстановление замковых валов Радзивиллами выделялись крупные суммы [9]. Вскоре, однако, российские войска вновь захватили город и штурмовали замок, но снова не сумели его взять
В 1706 году во время Северной войны город и замок стали целью Карла XII, который намеревался уничтожить владения всех магнатов, поддерживавших Августа II. Для захвата Несвижа были посланы три батальона драгун под командованием подполковника Юхана Траутветера и майора Спенса. Перед этим отряд Траутветера занял Негневичи, Кореличи и Мир. В городе в это время стояли 2000 казаков полковника Михаила Миклашевского (писатель и краевед XIX века Владислав Сырокомля называет его Михаловичем) . Штурм города начался 14 марта. После того, как драгуны Траутветера ворвались в город, завязались уличные бои, и шведы заставили собравшихся на рыночной площади казаков отступить
В 1812 году владелец замка Доминик Иероним Радзивилл (11-й несвижский ординат) выступил на стороне французской армии во главе 27-го уланского полка После присоеденения к Наполеону Доминик Радзивилл больше никогда не был в Несвиже. После отступления Наполеона Адам Чарторыйский предлагал Доминику вернуться в Россию и покаяться перед императором, но он отказался 11 ноября 1813 года он умер после смертельного ранения в бою. 13-16 июля 1812 года в Несвиже находился Жером Бонапарт, а в замке временно расположился его штаб (главная квартира) Когда армия Наполеона начала отступление из России, Доминик Радзивилл направил письмо управляющему замком Альберту Бургельскому с указанием спрятать все родовые сокровища
Только в 1860-х гг. замок вернулся к Радзивиллам, после чего началось его расширение и строительство собственно комплекса: Замковый парк, Старый парк, Японский сад, Новый парк, Английский парк. Общая площадь всего комплекса к 1939 году составляла около 90 гектаров.
В 1921 году в замок вернулся 16-й несвижский ординат Альбрехт Антоний Радзивилл, который пытался восстановить былой статус