5. Передача данных и кодирование информации

Сутью передачи данных по некоторому каналу является воспроизведение получателем некоторой (заданной отправителем) функции, например, изменения тока или напряжения во времени. При распространении сигнала происходит его искажение: затухание, искажение формы, смешивание с шумом и пр. Затухание возникает из-за того, что часть энергии сигнала рассеивается, при этом, чем больше длина канала, тем больше затухание. Кроме того, сигналы разных частот затухают не одинаково. Искажение формы сигнала происходит по причине разной скорости распространения сигналов разной частоты. В результате гармоники соседних сигналов могут смешиваться и искажать друг друга. Причиной шума является наличие других источников энергии (кроме передатчика). Источником шума могут быть, например, другие линии передачи данных, силовые электрические кабели, атмосферные явления. Неизбежной разновидностью шума является тепловой шум (при температуре среды больше абсолютного нуля).

1. Количество информация и энтропия

Источник информации, который может в каждый момент времени находиться в одном из возможных состояний, называется дискретным источником информации. Будем называть конечное множество всех возможных состояний {u₁, u₂, …, u_N}алфавитомисточника (N – размер алфавита или число возможных состояний). В общем случае разные состояния u_iвыбираются источником с разной вероятностью p_i, и его можно охарактеризовать совокупностью алфавита и множества вероятностей состояний –ансамблем U_N = {u₁, p₁, u₂, p₂, …, u_N, p_N}. Разумеется, сумма вероятностей всех состояний должна быть равна 1.

Введем меру неопределенности состояния источника H(U), удовлетворяющую следующим условиям:

• монотонность: мера должна монотонно возрастать с ростом количества возможных состояний.

• аддитивность: мера, вычисленная для сложного источника, состоящего из двух независимых источников (с размерами алфавитов N и M, тогда размер алфавита сложного источника -– NM), должна равняться сумме мер этих двух источников. Согласно условию аддитивности, мера должна удовлетворять соотношению H(U_NM) = H(U_M)+H(U_N).

Кроме того, существует граничное условие: мера неопределенности для источника с размером алфавита 1 должна равняться 0.

Можно показать, что этим условиям удовлетворяет логарифмическая функция (с произвольным основанием).

Для источника с алфавитом размера N и равновероятными состояниями (p_i=1/N для любого i) логарифмическая мера была предложена Р.Хартли в 1928 году и имеет вид: H(U_N) = log(N). Предположение о равновероятности состояний источника информации называется моделью Хартли. Если основание логарифма выбрать равным двум, соответствующая единица неопределенности будет соответствовать неопределенности выбора из двух равновероятных событий и называтьсядвоичной единицей илибитом (от англ.bit, сокращенногоbinarydigit– двоичная единица).

Модели Хартли недостает учета вероятностей состояний. Если, например, источник имеет два возможных состояния с вероятностями 0.999 и 0.001. Ясно, что мера неопределенности такого источника должна быть меньше 1 бита: есть большая уверенность в выборе первого состояния. Если вероятности состояний отличаются незначительно (например, 0.51 и 0.49), то и мера неопределенности должна измениться незначительно по сравнению с равновероятным случаем.

Таким образом, мера неопределенности должна зависеть от вероятностей состояний источника, от всего ансамбля. Такая модель источника информации называется моделью Шеннона. Мера неопределенности выбора дискретным источником состояния из ансамбля U_Nназываетсяэнтропией дискретного источника информации илиэнтропией конечного ансамбля:

где C – произвольное положительное число.

При равновероятности состояний источника мера Шеннона сводится к мере Хартли.

Доказано, что приведенная функция – единственная, удовлетворяющая всем перечисленным условиям.

Термин “энтропия” был заимствован из термодинамики и использован для меры неопределенности из-за того, что обе энтропии – термодинамическая и информационная – характеризуют степень разнообразия состояний рассматриваемой системы и описываются аналогичными функциями.