Родился 21 марта 1839 г. в селе Кареве Торопецкого уезда Псковской губернии (ныне в Тверской области) в дворянской семье. В детстве занимался музыкой под руководством матери. Образование получил в Петропавловской школе в Петербурге (1851 г.), подготовительном пансионе Комарова (1852 г.) и Школе гвардейских подпрапорщиков и кавалерийских юнкеров (1856 г.).
В 1856 г. начал службу в лейб-гвардии Преображенском полку. Одновременно брал уроки фортепианной игры у пианиста А. А. Герке. Тогда же познакомился с А С. Даргомыжским и М. А. Балакиревым, с помощью которого изучил теорию музыки и композиции. Вскоре Мусоргский стал постоянным участником собраний музыкальной группы «Могучая кучка».
В 1858 г. он вышел в отставку в чине прапорщика, чтобы уже всецело посвятить себя музыке. В 1867 г. написана симфоническая картина «Ночь на Лысой горе». К 1868 г. Мусоргский создал романсы на стихи Н. А. Некрасова и А. Н. Островского, а также на собственные тексты. По совету литературоведа В. В. Никольского композитор приступил к работе над оперой на сюжет поэмы А. С. Пушкина «Борис Годунов» по собственному либретто.
В 1874 г. премьера «Бориса Годунова» состоялась на сцене Мариинского театра в Петербурге; опера имела большой успех. Это было торжеством всей «Могучей кучки», именно в этой опере Мусоргский особенно ярко воплотил основные идеи членов кружка. Центральная партия Бориса была любимой в репертуаре Ф. И. Шаляпина. В 1872 г. Мусоргский написал свой первый вокальный цикл «Детская», для которого сам сочинил текст. В 1873 г. он начал работу над «народной музыкальной драмой» «Хованщина» на сюжет, предложенный критиком В. В. Стасовым. Вчерне опера была закончена летом 1880 г., но лишь после смерти Мусоргского окончательно дописана и инструментована Н. А. Римским-Корсаковым.
В 1874 г. Мусоргский написал десять музыкальных иллюстраций к акварельным рисункам художника В. Е. Гартмана «Картинки с выставки» — виртуозные пьесы для фортепиано. Через год он начал работу над вокальным циклом «Песни и пляски смерти» (на стихи А. А. Голенищева-Кутузова), который завершил в 1877 г.
В 1876 г. Мусоргский задумал новую лирико-комедийную оперу «Сорочинская ярмарка» на сюжет повести Н. В. Гоголя. Над ней он работал до конца жизни, но закончить её так и не успел (опера закончена Ц. А. Кюи). В 1879 г. тяжёлое материальное положение заставило Мусоргского вновь поступить на службу в ревизионную комиссию Государственного контроля, где он прослужил до самой смерти.
Умер 28 марта 1881 г. в Петербурге, находясь в полной нищете.