Родился 2 апреля 743 г. Старший сын короля Пипина Короткого, считающегося основателем династии Каролингов (по имени Карла). От отца Карл унаследовал северные и западные области королевства с центром в Нуайоне.
В 769 г., подавив мятеж на юге страны (Аквитания), он обеспечил себе влияние в этой области. В 771 г., после смерти брата Карломана, Карл захватил его владения. Это послужило толчком к началу распри с королём лангобардов Дезидерием.
В 776 г. он полностью покорил Северную и Среднюю Италию.