5. Понятие и свойства энтропии.

Энтропия - степень неопределенности состояния системы.

Пример:

Пусть имеется два дискретных ансамбя

В дискретном ансамбле у степень неопределенности будет больше.

Собственная информация сообщения х характеризует ин­формативность или степень неожиданности конкретного ансамбля.

Математическое ожидание этой величины будет характе­ризовать информативность всего ансамбля.

Определение: Энтропией дискретного ансамбля X={x_i,p(x_i)} называется величина:

Н(х) = M[I(x)] = ∑I(x_i)*p(x_i) =-∑P(X_i) *logp(x_i)

По определению получается, что энтропия представляет собой среднеожидаемое количество информации от системы.

Свойства энтропии:

1) Неотрицательность Н(х)>0

Энтропия будет равной нулю, если система детермини­рованная

2) H(x)<log|x|

Равенство будет иметь место, когда сообщение системы равновероятно.

1. Пусть имеется дискретный ансамбль X и пусть на множестве его элементов определена некоторая функция q(x), введем дискретный ансамбль Y = {y=q(x)}, тогда для множества Y будет выполняться неравенство H(Y)<H(X). Это означает, что обработка информации не приводит к увеличению энтропии.

Условная энтропия

Пусть имеются две зависимые системы X и Y . Обозначим p(y_j/x_i) вероятность того, что система Y примет значение Y_j при условии, что система X приняло значение X_i

P(y_j/x_i) = P(Y=y_j, при X=X_i).

Условные вероятности должны быть заданы для всех зна­чений Y и X. Для их задания используется матрица

С помощью матрицы можно посчитать частную энтропию:

H(Y/X_i)=∑p(y_j/x_i) *log р(y_j/x_i)

Частную условную энтропию можно выразить через мате­матическое ожидание H(Y/x_i) = M[-log p(Y/x_i)].

Чтобы полностью охарактеризовать энтропию системы нужно определить полную или среднюю энтропию. Для этого надо частную условную энтропию усреднить по всем значени­ям х с учетом вероятности.

Определение:

Полная условная энтропия сообщения у от­носительно х будет величина:

Понятие условной энтропии используется для определе­ния информационных потерь, при передаче по каналам связи с помехами. В этом случаи система X соответствует сообщениям источника, система Y - сигналы, принимаемые приемником. Матрица P(Y/X) характеризует информационные потери, при передаче сообщений х.

- p(y_i/x_i) эта вероятность соответствует правильному приему

Таким образом, H(Y/xi) характеризует неопределенность того, что, отправив Xi, мы получим любой из элементов множе­ства Y.

Матрица, задающая p(y/xi) называется канальной матрицей.

Рассмотрим приемник, т.е. систему Y. Когда приемник по­лучает сигнал у, существует неопределенность: какой сигнал был отправлен с источника.

В этом случае для подсчета энтропии используется ка­нальная матрица P(X/Y). Ей соответствует частная условная эн­тропия Н(Х/у_i) и полная условная энтропия H(X/Y).

Энтропия сложной системы. Объединение двух систем

X и Y называется сложная система X и Y, постоянные ко­торой представляют собой все возможные комбинации состоя­щих X и Y.

Если система X={x_i,p(x_i)}, а система Y={y_j,p(y_j)},тогда ве­роятности объединенной системы (х,у) будем обозначать p_ij=p(x_i,y_j). Эти вероятности удобно записывать в виде матрицы P(X,Y).

Эта матрица обладает следующими свойствами:

1. ∑ p_ij=1

1. p_i=∑p_ij задают распределение состояния системы X.

p_j=∑p_ij задают распределения системы Y.

Энтропией сложной системы называется величина:

H(X,Y)= - ∑∑ p_ij*log p_ij

В форме математического ожидания:

H(X,Y) = M[-log p(x_i,y_j)]

Свойства энтропии сложной системы:

1) Если системы X и Y независимы, тогда

H(X,Y)=H(X)+H(Y)

2) Если X и Y независимые системы, тогда

H(X,Y)=H(X)+H(Y/X)

Из свойства 2 вытекает следствие: H(X,Y)=H(Y)+H(X/Y)

3. H(X/Y)≤H(X) и H(Y/X)≤H(Y)

4. H(X,Y)≤H(X)+H(Y)

5) Если системы X и Y эквивалентны, то H(X,Y)=H(X)=H(Y). Системы X и Y эквивалентны, если постоянные одной системы полностью определяют состояние другой системы.

Вывод:

1. Энтропия характеризует среднеожидаемое количество информации от системы.

2. Если имеются две взаимозависимые системы, то фор­мула энтропии по определению позволяет вычислить энтропию источника или энтропию приемника.

3. Условная энтропия H(X/Y) определяет количество не­достающей информации на приемном конце.

4. Энтропия характеризует среднее количество информа­ции, передаваемое по каналу связи с помехами.