Так говорят о человеке, с которым трудно найти общий язык, не договориться:
С ним кашу не сваришь.
То-есть человек этот несговорчивый, неуступчивый, непокладистый.
А откуда пошла эта поговорка рассказано в первом ответе, повторяться не буду.
Порой, напротив, говорят, что без кого-то каши не сваришь. Это означает, что без него дела сделать нельзя.