Понятие разряда числа известно из математики, это "место" для цифры. Например, в числе 49 (записано в десятичной системе счисления) есть два разряда, в каждом разряде может стоять любая из 10 цифр. Чтобы получить значение числа, нужно умножить цифры на веса разрядов (для 0-го разряда – единиц – нужно умножить на 1, для 1-го – десятков – на 10, для разряда сотен на 100 и т.д.) Таким образом, 49 = 4 * 10 + 9 * 1
Для записи чисел в двоичной системе счисления используются двоичные разряды, на месте каждого двоичного разряда может стоять 0 или 1. Веса двоичных разрядов уже не степени 10, а степени 2, в остальном всё так же, например, двоичная запись
состоит из шести двоичных разрядов.
В определении имеется в виду примерно следующее. Представим себе двоичный разряд. В нём может быть записано либо 0, либо 1, и если 0 и 1 там могут появиться с одинаковой вероятностью (или, по крайней мере, мы совсем ничего не знаем о вероятностях появления нулей и единиц), то количество информации о конкретном значении двоичного разряда равна 1 биту.
Подобный подход хорошо работает, если, например, нужно записать что-то в память устройства. Она устроена примерно так, что каждая ячейка может содержать либо 0, либо 1, так что чтобы записать число из 6 двоичных разрядов, нужно потратить 6 бит памяти.
Мне нравится другое определение: бит – единица информации, соответствующая уменьшению неопределённости в два раза. Если рассмотреть множество альтернативных вселенных, то примерно в половине из них значение будет 1, в половине 0. Значит, знание о том, какое значение в двоичном разряде, уменьшает неопределенность (=количество подходящих вариантов вселенных :)) в два раза