Первоначально территория собственно Атропатены — это территория древнего государства Манна, которая была захвачена Мидией, чьё население (кутии, луллубеи, позже скифы) полностью иранизировались. После захвата Мидии персами входила в состав Мидийской сатрапии Ахеменидского государства. К моменту завоевания Александром Македонским (331 год до н. э.) Мидией правил сатрап Атропат, который признал Александра царём и сохранил пост. При первом разделе наследства Александра (323 год до н. э.) он был смещён (на его место был назначен македонянин Пифон), но сохранил власть над меньшей, северной частью страны, которая стала называться Мидия Атропатена (букв. «Атропатская Мидия»), или Малая Мидия. Впоследствии слово «Мидия» в названии перестало употребляться.
Распад
В 1092—1140 годах входила в состав Сельджукского государства. После его распада на территории Атропатены образовалось государство Ильдегизидов. В XII веке эти земли входили в состав государства Хорезмшахов, затем были завоёваны монголами и вошли в состав государства Ильханов. В 1335—1432 годах здесь правила династия Джалаиридов.