3) x - литры воды, y - литры спирта, тогда
x+y=40
x*плотность_воды+y*плотность_спирта=40*конечная_плотность
из первого x=40-y, подставляем во второе
(40-y)*плотность_воды+y*плотность_спирта=40*конечная_плотность
решаем относительно y
y=40*(конечная_плотность-плотность_воды) /(плотность_спирта-плотность_воды)
ps: да, и плотность в таком случае необязатально переводить в кг/литр, но это по желанию :)