Просто не стоит из целых чисел вычитать целые, а из дробных дробные, т.к. в некоторых случаях придётся занимать (возьмём даже ваш пример 5 5/6 - 7 1/3 = 5 5/6 - 7 2/6. знаки разные вычитаем из большего меньшее и ставим знак большего числа, мы не можем отнять от 2/6 5/6, поэтому занимаем у 7-ки единицу и получаем: 6 8/6 - 5 5/6 = -1 3/6 - вот и ошибка)