Пусть кол-во кошек будет равняться х, а кол-во собак — у.
Представляем задачу в виде системы уравнений(систему решаем методом подстановки переменной):
5х + 6у=56
х+у=10;
5х+6у=56
у=10-х;
5х+6(10-х)=56
у=10-х;
5х+60-6х=56
у=10-х;
-1х=-4
у=10-х;
х=4
у=6
Ответ: Всего было 4 кошки и 6 собак