Сначала определим, при каких m корни будут действительными. Для этого ищем дискриминант и ставим условие, что он неотрицателен.
D=(m-1)²-4m²=-3m²-2m+1=-(3m-1)(m+1)>=0
Отсюда m∈[-1;1/3]
Далее выразим сумму квадратов корней уравнения, используя теорему Виета.
x1+x2=1-m,
x1*x2=m²,
x1²+x2²=(x1+x2)²-2*x1*x2=(1-m)²-2m²=-m²-2m+1=f(m)
Рассмотрим функцию f(m):
f'(m)=-2m-2.
Имеет один нуль производной в точке m=-1.
При m∈(-∞;-1) производная положительная, следовательно, функция возрастает.
При m∈(-1;+∞) производная отрицательная, следовательно, функция убывает.
По условию, надо найти наименьшее значение функции. С учетом поставленных ограничений на действительность корней, ищем минимум функции на отрезке m∈[-1;1/3]. Он достигается в точке m=1/3.
f(1/3)=-(1/3)²-2*(1/3)+1=2/9.