Думаю, из-за того, что обстоятельство показывает при каких обстоятельствах совершалось действие. Например: я рассеянно бродила по парку. Обстоятельство рассеянно показывает признак действия бродила. Или так: Маша пришла ко мне в шесть часов. Обстоятельство тут в шесть часов (потому что отвечает на вопрос когда?).