Однородная система линейных уравнений всегда совместна. Она имеет нетривиальные (ненулевые) решения, если ранг матрицы меньше количества переменных.
а) 
\left[\begin{array}{ccc}10&4&6\\2&-2&5\\6&8&4\end{array}\right] => \left[\begin{array}{ccc}0&14&-19\\2&-2&5\\0&14&-11\end{array}\right] => \left[\begin{array}{ccc}2&-2&5\\0&14&-11\\0&0&-8\end{array}\right] " alt=" \left[\begin{array}{ccc}5&2&3\\2&-2&5\\3&4&2\end{array}\right] => \left[\begin{array}{ccc}10&4&6\\2&-2&5\\6&8&4\end{array}\right] => \left[\begin{array}{ccc}0&14&-19\\2&-2&5\\0&14&-11\end{array}\right] => \left[\begin{array}{ccc}2&-2&5\\0&14&-11\\0&0&-8\end{array}\right] " align="absmiddle" class="latex-formula">
1: 1ю строку *2
3ю строку *2
2: из первой строки вычитаем вторую строку, умноженную на 5
из третьей строки вычитаем вторую строку, умноженную на 3
3: из первой строки вычитаем третью строку и располагаем строки в порядке убывания
приведя матрицу к ступенчатому виду, видим, что её ранг равен трём и равен количеству переменных => СЛУ имеет только одно тривиальное (все переменные равны 0) решение
б) 
\left[\begin{array}{ccc}0&-2&1\\1&-3&3\\0&4&0\end{array}\right] => \left[\begin{array}{ccc}1&-3&3\\0&4&0\\0&4&2\end{array}\right] => \left[\begin{array}{ccc}1&-3&3\\0&4&0\\0&0&2\end{array}\right] " alt=" \left[\begin{array}{ccc}2&-4&5\\1&-3&3\\3&-5&9\end{array}\right] => \left[\begin{array}{ccc}0&-2&1\\1&-3&3\\0&4&0\end{array}\right] => \left[\begin{array}{ccc}1&-3&3\\0&4&0\\0&4&2\end{array}\right] => \left[\begin{array}{ccc}1&-3&3\\0&4&0\\0&0&2\end{array}\right] " align="absmiddle" class="latex-formula">
1: из первой строки вычитаем удвоенную вторую строку
из третьей строки вычитаем утроенную вторую строку
2: умножаем первую строку на -2
меняем местами первую и вторую строку
3: вычитаем из третьей строки вторую строку и меняем их местами, таким образом приводя матрицу к ступенчатому виду
видим, что ранг матрицы равен 3 и равен количеству переменных => СЛУ имеет только одно тривиальное решение