Нужно заметить, что произносим мы как раз не букву, а звук. Это важно, потому что в этом суть вопроса.
Сравним: пёрышко - транскрипция, то есть, произношение, будет следующей: [п`орышко], видим, что буква ё произносится как звук [о].
А вот в словах перо и перья нет буквы ё, есть на этом месте е. Это очень важно, потому что букве е соответствует в русском языке звук [э].
Поэтому смысл в том, что буквы разные в словах - ё-е, поэтому и звуки изменились - [о]-[э].