Потому что в разных форматах файлов по разному кодируется информация.
Возьмем пример: формат txt это просто текст, а в формате rtf - кроме текста еще кодируется дополнительная информация о шрифте (размер, стиль, наименование шрифта, жирность и т.д), а также форматирование самого текста(отступы абзацев и др).