Количество оставшихся шаров делится на 5 и на 7, то есть равно 5*7=35.
А сначала было 36.
Петя вынул шар, осталось 3/5*35=21 белый шар.
Вася вынул шар, осталось 4/7*35=20 белых шаров.
Значит, было 21 белый и 15 черных. Петя вынул чёрный, осталось 21 белый и 14 чёрных. Вася вынул белый, осталось 20 белых и 15 чёрных.
Ответ: сначала было 36 шаров.