Можно решить и не векторным методом, а системой уравнений.
Если точку А поместить в начало координат, а точку В на оси ОХ, то для отрезков АМ и ВМ получим систему:
Суммируем и приравниваем к².
Получаем 2х²-2ах+2у² = к²-а².
Выделяем полные квадраты и получаем уравнение окружности:
Центр окружности в точке ((а/2);0) и радиус равен √((2к²-а²)/4).
Для данной задачи центр окружности в точке (1;0) и радиус равен √((2*20-4)/4) = √(36/4) = 3.