Удар упругий, поэтому выполняется и закон сохранения импульса и закон сохранения энергии
Отсюда скорости малого шара до удара и после связаны
V2=0,8V1
Закон сохранения импульса
mV1=-mV2+MV
1,8V1=MV (1)
По закону сохранения энергии
Решая (1) и(2) в системе, (можно возвести первое в квадрат, а потом разделить первое на второе)
Получим ответ 16, 2 кг