Проще всего решить геометрически
относительная скорость сближения катеров в проекции на отрезок L
v1*cos(a)+v2*cos(b)
относительная скорость катеров перпендикулярно отрезку L
v1*sin(a)-v2*sin(b)
модуль скорости сближения
корень(v1^2+v2^2+2v1*v2*cos(a+b))
синус угла между вектором скорости сближения и отрезком L
sin(gamma)=(v1*sin(a)-v2*sin(b))/ корень(v1^2+v2^2+2v1*v2*cos(a+b))
искомое минимальное расстояние
S=L*sin(gamma)=L*(v1*sin(a)-v2*sin(b))/ корень(v1^2+v2^2+2v1*v2*cos(a+b))