я не очень хорошо владею приемами решения задач с помощью гомотетии, но в данном случае я бы поискал преобразование относительно центра тяжести всего четырехугольника O. Насколько я помню, если O - любая точка, то для треугольника OG = (OA + OB + OC)/2; (векторное равенство). Поэтому центр тяжести всего четырехугольника должен быть центром гомотетии - тут равна 0 сумма всех радиус-векторов вершин, и центроидов треугольников тоже. скорее всего получится что-то типа -1/3;