Если бы был один мальчик, то рукопожатий было бы столько, сколько девочек. Если два мальчика, то в 2 раза больше. Если три - в три раза больше. Если k мальчиков - в k раз больше. Таким образом конечное число рукопожатий должно иметь в своем составе два множителя - количество девочек и количество мальчиков.
У нас 77 имеет множители только 11 и 7. Значит учеников 11+7 = 18.