7. Свойства энтропии дискретного и непрерывного источников информации

Свойства энтропии дискретного источника информации.

Дискретные системы связи - системы, в которых как реализации сообщения, так и реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.

Пусть и- случайные величины с множествами возможных значений

Количество информации при наблюдении случайной величиныс распределением вероятностейзадается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

Рассмотрим свойства энтропии, вытекающие из формулы Шеннона.

1) Энтропия — неотрицательное вещественное число. Это свойство — прямое следствие того, что 0 <= pi <= 1, i=1,..., N и свойств функции у = log₂ х.

2) Энтропия равна нулю тогда и только тогда, когда ε — детерминированная величина, т. е. когда для некоторого j = 1 вероятность pj=1. Пусть ε — детерминированная величина,

тогда

(неопределенности раскрываются по правилу Лопиталя). Пусть теперь Н{£) = 0. Так как слагаемые в формуле эн­тропии неотрицательны, то для этого должны выполняться следующие условия:

Эти условия выполняются только тогда, когда р_i = 0 или Pi == 1. С учетом условия нормировки ∑_iPi ⁼ 1 возмож­но только, если для некоторого к, 1 <= к <= N выполняется условие Pk = 1, Pi≠jt =0, т.е. если ε — детерминированная величина.

Таким образом, только детерминированная система имеет нулевую энтропию.

3) Энтропия максимальна при равновероятных значениях ε, т. е. когда p1 =р₂ =… рN = 1/N.- Это свойство легко дока­зать, найдя максимум многомерной функции H(ε), например, методом множителей Лагранжа.

При равновероятных значениях ε получаем ,т. е. максимум равен H=log₂N. (**)

Это выражение называется формулой Хартли.

Таким образом, неопределенность системы максимальна, когда все ее состояния равновероятны. Это и понятно: если какое-то из состояний более вероятно, то это уже есть какая-то степень определенности. Становится также понятно стремле­ние при кодировании и поиске разбивать исходные множества на подмножества с примерно равными суммарными вероят­ностями. При этом получается максимальная энтропия воз­можных исходов сравнения и, следовательно, сравнение дает максимальное количество информации.’

4) Энтропия аддитивна

Можно привести следующие доказательства аддитивности энтропии. Сначала приведем доказательство аддитивности меры Хартли (формула **).

Рассмотрим два источника информации:

При одновременном наблюдении

Мера Хартли:

Доказательство аддитивности информационной меры Шеннона.

Пусть А и В независимы, тогда

Энтропия непрерывных сообщений

Непрерывные системы передачи информации - системы, в которых как реализации сообщения, так и реализации сигнала на конечном временном интервале представляют собой некоторые непрерывные функции времени.

Пусть - реализации непрерывного сообщения на входе какого-либо блока схемы связи,- реализация выходного сообщения (сигнала),- плотность вероятности ансамбля входных сообщений,- плотность вероятности ансамбля выходных сообщений

Формулы для энтропии непрерывных сообщений получаются путем обобщения формул для энтропии дискретных сообщений. Если- интервал квантования (точность измерения), то при достаточно маломэнтропия непрерывных сообщений

где По аналогии