Баклуши, за тридевять, лясы, кануть, пядей.
Скорее всего эти слова. Они не разговорные, а именно, не употребляющиеся в обычной лексике. Их значение определяет их присутствие в данных фразеологизмах. Согласитесь, очень странно звучало бы, если бы их употребляли не как устойчивый оборот, а как отдельное слово) Это выглядело бы очень странно