- •В.Г. Ланских теория информации
- •Предисловие
- •Содержание
- •Лекция 1 введение
- •Глава 1.
- •1.1. Случайные события и их вероятности
- •Случайные величины и процессы
- •1.2.1. Дискретные случайные величины и процессы
- •1.2.2. Непрерывные случайные величины и процессы
- •1.3. Методы спектрального описания случайных процессов
- •1.3.1. Понятие спектра детерминированного процесса
- •1.3.2. Спектральное описание случайных процессов
- •1.4. Дискретизация и квантование
- •1.4.1. Дискретизация
- •1.4.2. Квантование
- •1.5. Классификация помех
- •1.6. Модели каналов
- •1.6.1. Модели дискретных каналов
- •1.6.2. Модели непрерывных каналов
- •1.7. Методы модуляции
- •1.7.1. Непрерывные методы модуляции и манипуляции
- •1.7.2. Методы импульсной модуляции
- •1.7.3. Методы цифровой модуляции
- •1.8. Согласование характеристик сигнала и канала
- •Глава 2 количественные оценки информационных объектов и процессов
- •2.1. Подходы к определению количества информации
- •Основы статистического подхода к определению количества информации
- •2.3. Энтропия объединения (ансамбля)
- •2.4. Основная теорема Шеннона для дискретного канала
- •2.5. Энтропийные характеристики непрерывных информационных
- •Глава 3 основы теории кодирования
- •3.1. Назначение и классификация кодов
- •3.2. Эффективное кодирование
- •3.3. Помехоустойчивое кодирование
- •3.3.2. Классификация избыточных двоичных кодов
- •3.3.3 Простейшие блоковые коды с обнаружением ошибок
- •3.3.4. Групповые коды с обнаружением и исправлением ошибок
- •Важнейшие классы полиномиальных кодов
- •3.3.5. Сверточные коды
- •3.3.6. Каскадные коды
- •3.3.7. Оценка эффективности применения корректирующих кодов
2.3. Энтропия объединения (ансамбля)
Формула (2.3) получена в предположении, что существует неопределенная ситуация X, которая характеризуется вполне определенным набором альтернатив x1, x2, . . . , xm и известными априорными вероятностями этих альтернатив p(x1), p(x2), . . . , p(xm). Таким образом, на множестве (ансамбле) возможных сообщений задается распределение вероятностей, и это позволяет вычислить по формуле (2.3) энтропию источника.
Однако информационный акт в любой информационной системе состоит в передаче сообщения от источника к получателю. В связи с этим возникает необходимость в определении количества информации, содержащегося в одном ансамбле относительно другого.
Для этого рассмотрим объединение двух дискретных ансамблей X и Y, вообще говоря, зависимых друг от друга. Интерпретировать это объединение в зависимости от решаемой задачи можно по-разному: а) как пару ансамблей сообщений, б) как ансамбль сообщений X и ансамбль сигналов Y, с помощью которого эти сообщения передаются, в) как ансамбль сообщений (сигналов) X на входе канала и ансамбль сообщений (сигналов) Y на выходе канала и т.д.
При этом ансамбль Y задается аналогичной ансамблю X схемой
,
а схема объединения ансамблей выглядит следующим образом
x1 x2 . . . xm
y1 p(x1y1) p(x2y1) . . . p(xmy1)
y2 p(x1y2) p(x2y2) . . . p(xmy2)
. . . .
ym p(x1ym) p(x2ym) . . . p(xmym),
где вероятности произведения совместных зависимых событий определяются по формуле
С объединением событий связаны понятия совместной и условной энтропии и взаимной информации.
Совместной энтропией H(XY) называется среднее количество информации на пару сообщений (например, переданного и принятого). По аналогии с теоремой умножения вероятностей (1.7)
(2.7)
Здесь - условная энтропия Y относительно X или мера количества информации в приемнике, если известно, что передается X, а - условная энтропия X относительно Y или мера количества информации об источнике, когда известно, что принимается Y.
Для условной энтропии справедливо неравенство . При этом равенство имеет место тогда, когда Y содержит полную информацию об X. Другое равенство имеет место тогда, когда X и Y независимы, т.е. Y не содержит никакой информации об X.
Выражения для нахождения условных энтропий через вероятностные схемы ансамблей X и Y и их объединений могут быть получены исходя из следующего.
Пусть на основании статистических данных могут быть установлены вероятности событий y1, y2, . . . , ym при условии, что имело место событие xi. Это будут условные вероятности p(y1/xi), p(y2/xi), . . . , p(ym/xi). Тогда частная условная энтропия будет равна по общему определению энтропии (2.3) .
Далее нужно подсчитать среднее значение H(Y/X) для всех xi при i =1, ..., n, т.е. или в развернутом виде
(2.8)
и аналогично
. (2.9)
В общем случае условная энтропия H(X/Y) меньше H(X) и знание Y снижает в среднем априорную неопределенность X. Из этих соображений целесообразно назвать разность
(2.10)
количеством информации, содержащемся в Y относительно X. Эту величину называют взаимной информацией между X и Y.
Взаимная информация измеряется в тех же единицах, что и энтропия, т.е. в битах. Величина I(X,Y) показывает, сколько в среднем бит информации получаем о реализации ансамбля X, наблюдая реализацию ансамбля Y.
Основные свойства взаимной информации:
1. I(X, Y) , причем равенство нулю имеет место тогда и только тогда, когда X и Y независимы друг от друга. (2.11)
2. I(X, Y) = I(Y, X), т.е. Y содержит такое же количество информации об X, какое X содержит относительно Y. (2.12)
3. I(X, Y) H(X), причем равенство имеет место тогда, когда по реализации Y можно однозначно восстановить X. (2.13)
4. I(Y, X) H(Y), причем равенство имеет место тогда, когда по реализации X можно однозначно восстановить реализацию Y. (2.14)
5. Полагая Y=X и учитывая, что H(X/X) = 0, получим, что I(X,X)=H(X). Это позволяет интерпретировать энтропию источника, как его собственную информацию, т.е. содержащуюся в ансамбле X о самом себе. (2.15)
Все сказанное о безусловной, условной, совместной энтропии и взаимной информации можно свести в табл. 2.1.
Таблица 2.1. Сводная таблица по видам энтропий |
|||
Название |
Обозначение |
Диаграмма |
Соотношения |
Безусловная энтропия |
H(X) |
|
H(X) H(X/Y) H(X)= H(X/Y)+ I(X,Y) |
H(Y) |
|
H(Y) H(Y/X) H(Y)= H(Y/X)+ I(X,Y) |
|
Условная энтропия |
H(X/Y) |
|
H(X/Y)= H(X) - I(X,Y) |
H(Y/X) |
|
H(Y/X)= H(Y) - I(X,Y) |
|
Совместная энтропия |
H(XY)=H(YX) |
|
H(XY)= H(X)+ H(Y/X)= = H(Y)+ H(X/Y)= = H(X)+ H(Y) - I(X,Y) |
Взаимная информация |
I(X,Y) |
|
I(X,Y)= H(X) - H(X/Y)= = H(Y) - H(Y/X)= = H(XY) - H(X/Y) - H(Y/X) |
Если обозначить T - среднее время передачи одного сообщения, а к - количество символов, поступающих на вход канала в единицу времени, то величина
(2.16)
показывает количество информации, приходящееся не на одно сообщение, а на единицу времени и называется скоростью передачи информации от X к Y.
Полученные соотношения позволяют взглянуть на сущность энтропии с другой точки зрения.
Пусть X - ансамбль дискретных сообщений, а Y - ансамбль дискретных сигналов, в которые преобразуются сообщения X. Тогда (2.13, 2.14) I(X, Y) = H(X) в том и только в том случае, когда преобразование X Y обратимо. При необратимом преобразовании I(X, Y) < H(X) и разность H(X) - I(X,Y) = H(X/Y) можно назвать потерей информации при преобразовании X Y.
Таким образом, информация не теряется только при строго обратимых преобразованиях.
Далее, понимая под X ансамбль сигналов на входе дискретного канала, а под Y - ансамбль сигналов на его выходе, на основании (2.10) можно записать
. (2.17)
Это соотношение можно проиллюстрировать рис. 2.1. Здесь H(X) - энтропия источника на входе канала, |
|
Рис. 2.1. Графическая иллюстрация выражения (2.17) |
H(Y) - энтропия на выходе канала, H(X/Y) - потери информации в канале, эта величина называется иногда ненадежностью канала, H(Y/X) - посторонняя информация в канале, создаваемая действующими в нем помехами и называемая иногда энтропией шума. Соотношение между H(X/Y) и H(Y/X) определяется свойствами канала. Например, при передаче телефонного сигнала по каналу с узкой полосой частот и низким уровнем помех H(X/Y) >> H(Y/X). Если полоса частот канала достаточна, но сильны наводки от соседнего канала, то H(X/Y) << H(Y/X).
Если в системе нет потерь информации, искажений и помех, то условные энтропии в выражении (2.17) равны нулю, а количество взаимной информации равно энтропии либо источника, либо приемника.
Контрольные
вопросы к
лекции 10
10-1. Чем характеризуется структурный подход к определению количества информации?
10-2. Как определяется геометрическая мера количества информации при использовании структурного подхода?
10-3. Как определяется комбинаторная мера количества информации при использовании структурного подхода?
10-4. Как определяется аддитивная мера количества информации при использовании структурного подхода?
10-5. Для чего используется семантический подход к определению количества информации?
10-6. Как оценивается содержательность информации при использовании семантического подхода?
10-7. Что служит в качестве меры целесообразности информации при использовании семантического подхода?
10-8. Что служит в качестве меры существенности информации при использовании семантического подхода?
10-9. Чем отличаются подходы Хартли и Шеннона к определению количества информации?
10-10. Что характеризует энтропия?
10-11. Чем отличаются понятия количества информации и энтропии?
10-12. Почему энтропия всегда положительна?
10-13. В каком случае энтропия равна нулю?
10-14. В каком случае энтропия имеет максимальное значение?
10-15. Как определяется относительная избыточность источника?
10-16. В каком случае относительная избыточность источника равна нулю?
10-17. Какой источник информации называется стационарным?
10-18. Что называется производительностью источника информации?
10-19. Что называется совместной энтропией пары сообщений?
10-20. Что называется условной энтропией одного сообщения относительно другого?
10-21. Что называется взаимной информацией между двумя сообщениями?
10-22. В каком случае взаимная информация между двумя сообщениями равна нулю?
10-23. В каком случае взаимная информация между двумя сообщениями равна энтропии одного из сообщений?
10-24. Что называется собственной информацией источника?
10-25. Что называется скоростью передачи информации?
10-26. При каких преобразованиях отсутствуют потери информации?
10-27. Что называется ненадежностью канала?
10-28. Что называется энтропией шума в канале?
Лекция 11
Основная
теорема
Шеннона