Зависит от языка и типизации, применённой в нём. По логике, будет возвращено вещественное число, потому что вещественный тип рассматривается как более широкий по отношению к целому, а деление на вещественное число подразумевает только операцию вещественного деления, а не целочисленного.