потому что три,пять-это числительное
а пятёрка,миллион-это существительные
примеры:шесть,восемь,девять,восемьдесят три,тридцать,десять и т.д- они не имеют рода,потому что числительные
шёстёрка,семёрка,девятка,десятка,восьмёрка и т.д.-они имеют род потому что это существительные