В 1503 году великий князь Иоанн Васильевич получил во владение треть рязанских городов, в том числе и Тулу. С этого времени Тула навсегда осталась собственностью Московского княжества. Для того чтобы обезопасить путь к Москве, в связи с возрастанием военной опасности со стороны Крымской орды, Василий III в 1507 году повелел заложить в Туле, на левом берегу реки Упы (оставив старое городище при речкеТулице), дубовую крепость (острог). Деревянный сруб имел вид вытянутого полукруга. Острог был вооружён немецкими и московскимипищалями и пушками, был закончен в 1509 году и простоял 231 год. В 1514 году внутри дубовой крепости, по примеру московского кремля,Василий III повелел заложить «каменный город», построенный к 1520 (1521) году. Воскресенский летописный свод под 1509 годом сообщает о строительстве кремля: «Повелением великого князя Василия Ивановича поставлен город на Туле деревян, а на пятое лето поставлен град камен».
В 1552 году былаосада крымским ханом Девлетом I Гиреем. В это время царь Иван IV был в походе на Казань . Городское население сражалось до прихода подкрепления царского войска из Коломоны . В память об этих событиях в Тульском кремле был установлен закладной камень недалеко от Ивановских ворот.
Во второй половине XVIвека вокруг каменного кремля появился посадский острог — деревянная охраняемая крепость в десять раз превышавшая площадь каменного кремля. Эта территория в то время была границей Тулы.