35. Количественная мера информации.

Центральная проблема теории информации - это выбор меры информации. Будем рассматривать дискретный источник с четным множеством своих сочетаний.

Такой источник считается заданным, если задан ансамбль состоянии:

и обязательно должны быть заданы априорные вероятности этих состояний, каким способом мы их задаем не имеет значения ):

, где - число возможных состоянии, - длина).

При - никакого выбора нет, источник находится в состоянии 1 (ничего нового не несет). - предложенная мера не обладает свойством аддитивности, т.е. не обладает свойствами линейно возрастать. Было замечено, что количество информации в сообщении вырабатывающего источника зависит от вероятности этого сообщения. Из соображения здравого смысла, менее вероятное событие несет больше количества информации.

события.

- заданные вероятности.

Клод Шеннон вывел эту зависимость.

Если задан источник , то - Хартли. Основание логарифма принципиальной меры не имеет:

, десятичная единица, (дит);

, натуральная единица, (нат);

, двоичная единица, (бит) - количество информации которое вырабатывает источник с двумя возможными состояниями.

К. Шеннон предложил оценивать количество информации содержащееся в сведе­нии о состоянии двоичного источника с равновероятными состояниями:

Было замечено, что количество информации в сообщении, вырабатываемом ис­точником, зависит от вероятности этого сообщения. Менее вероятное событие несет большее количество информации. Если имеется тогда

- эту зависимость вывел Клод Шеннон.

36. Условная энтропия

Энтропия, учитывающая статистическую зависимость между символами, называется условной и находится по формуле

[бит/сообщ]

где

- условная частная энтропия, вычисляемая для каждого символа . Для расчета условной энтропии по формулам необходимо использовать переходные вероятности . Как следует из вышесказанного, между условной энтропией и безусловной энтропией должно соблюдаться неравенство

).

По сравнению с безусловной энтропией, условная энтропия учитывает более тонкую структуру вероятностных свойств источника, поэтому, является более точной характеристикой источника.

37.Скорость передачи

– среднее количество информации передаваемое в единицу времени.

где - энтропия – среднее количество информации, вырабатываемое источником (т.к. источник передает информацию не с постоянной скоростью).

- среднее время передачи элементарного сообщения .

где - длительность сообщения,

- вероятность сообщения.

Скорость передачи измеряется в Бодах: 1 Бод = 1/1сек

Для обеспечения заданной скорости передачи необходимо соблюсти условие:

,

где – пропускная способность канала – максимальное среднее количество информации, предаваемое в единицу времени.