Центры окружностей лежат на другой окружности. Из соображений симметрии ясно, что высоты сегментов d, отсеченных сторонами квадратов, равны.
Ясно, a + 2*d = r; где а - сторона квадрата. При этом (a/2)^2 + (r - d)^2 = r^2;
d = (r - a)/2; r - d = (r + a)/2;
то есть a^2 + (r + a)^2 = 4*r^2;
2*a^2 + 2*a*r - 3*r^2 = 0; или, если обозначить x = a/r; то
2*x^2 + 2*x - 3 = 0; x = (√7 - 1)/2; (отрицательный корень отброшен)
a = r*(√7 - 1)/2;