1 бит = уменьшение незнания в двое, например,
"люди бывают черными, белыми, желтыми, красными" =)
Значит один человек может принять один из четырех вариантов, сообщение:
"Этот человек не черный и не красный"
сокращает число возможных вариантов с 4х до 2х, т.е. вдвое. А значит сообщение несет один бит информации.