Я конечно могу ошибаться, но все же вот мое решение:
Всего 3 блока книг и стоять они должны непосредственно друг за другом и никак иначе, т.е
алгебра - геометрия - история или алгебра -история-геометрия и т.д
Всего таких перестановок блоков может быть 3! = 6
Но в каждом блоке также возможны свои перестановки. Так 4 книги по алгебре можно расставить 4! способами, 3 книги по геометрии 3! способами и 5 книг по истории 5! способами. Тогда общее количество способов равно произведению всех вариантов. Получается 5!*4!*3!*3! = 103680