Квадратная площадка 10*10 = 100 плиток. Значит, у нас плиток N < 100.
Остаток, который остается при делении по 7 плиток, m > 5, но m < 7.
То есть m = 6. Остаток при делении по 8 плиток k = m - 5 = 6 - 5 = 1.
Числа меньше 100, которые при делении на 7 дают остаток 6:
13, 20, 27, 34, 41, 48, 55, 62, 69, 76, 83, 90, 97.
Из них числа, которые делятся на 8 с остатком 1: 41 и 97.
Какой ответ правильный, выбирайте сами. Я думаю, 97.
Если бы была всего 41 плитка, никому и в голову не пришло бы пробовать выложить из нее квадрат 10 на 10.