Количество информации по алфавитному подходу
Количество информации по алфавитному подходу равно числу символов сообщения, умноженному на информационный вес одного символа в битах.
$I = K \cdot i$
Информатика
Кодирование информации
Биты, байты, объем сообщения, алфавитный подход и скорость передачи.
7 формул
Формулы темы
Мощность алфавита
Мощность алфавита N=2^i показывает, сколько различных символов можно закодировать, если на один символ отводится ровно i бит.
$N = 2^i$
Неравенство Крафта: длины двоичных префиксных кодов
Неравенство Крафта проверяет, могут ли заданные длины двоичных слов образовать префиксный код: сумма 2 в степени минус длина не должна превышать единицу.
$\sum_{i=1}^{m}2^{-l_i}\le 1$
Энтропия Шеннона: средняя информация дискретного источника
Энтропия Шеннона измеряет среднюю неопределённость исхода по его вероятностям. При двоичном логарифме результат выражают в битах на символ; редкие и частые символы вносят разный вклад.
$H(X)=-\sum_{i=1}^{m}p_i\log_2p_i$
Средняя длина кода Хаффмана: расход бит на символ
Средняя длина двоичного кода равна сумме длин кодовых слов с весами вероятностей символов. Для кода Хаффмана этот расход минимален среди двоичных посимвольных префиксных кодов с заданными вероятностями.
$\overline{L}=\sum_{i=1}^{m}p_i\ell_i$
Минимальное расстояние кода: сколько ошибок можно исправить
Минимальное расстояние между разрешёнными кодовыми словами определяет гарантированное число исправляемых замен битов. Чтобы исправить любые t ошибок, нужно расстояние не меньше 2t+1.
$t=\left\lfloor\frac{d_{\min}-1}{2}\right\rfloor$
Граница Хэмминга: сколько слов помещается в исправляющий код
Граница Хэмминга ограничивает число слов M двоичного блочного кода длины n, исправляющего любые t замен. Области возможных повреждений вокруг разных слов должны помещаться среди всех двоичных строк без пересечений.
$M\sum_{j=0}^{t}\binom{n}{j}\le 2^n$