Родился в Бийске Алтайского края, сын московского инженера, бывшего на Алтае в командировке и вскоре возвратившегося с семьей в Москву. С 1944 участник литературной студии поэта и художника Евгения Кропивницкого при одном из московских домов пионеров. С конца 50-х вокруг Кропивницкого и его ученика художника Оскара Рабина сформировался тесный круг эстетически близких поэтов и художников, получивший впоследствии название «лианозовской школы» (неподалеку от подмосковной станции Лианозово жил Рабин). В советские годы Сапгир много публиковался как детский писатель (ему принадлежат сценарии классических мультфильмов «Лошарик», «Паровозик из Ромашкова», слова песни «Зеленая карета» и др.). В 1979 г. участвовал в альманахе «Метрополь». Первая публикация «взрослых» стихов Сапгира за границей — в 1968, в СССР — в 1989. Выступал также как переводчик (прежде всего, выдающегося еврейского поэта Овсея Дриза, немецкой конкретной поэзии и американского поэта Джима Кэйтса). Составитель поэтического раздела антологии «Самиздат века» (1998), на основе которого создан Интернет-проект «Неофициальная поэзия». Лауреат Пушкинской премии Российской Федерации, премий журналов «Знамя» (1993) и «Стрелец» (1995, 1996), премии «За особые заслуги» Тургеневского фестиваля малой прозы (1998). В годы перестройки стал членом Союза Писателей Москвы (с 1988), хотя к идее Союза Писателей относился отрицательно. Был членом ПЕН-клуба с 1995; перед самой смертью вступил в группу ДООС (в 1999 г.). Умер от сердечного приступа в московском троллейбусе по дороге на презентацию антологии "Поэзия безмолвия", где он должен был выступать.