Cреднее количество взаимной информации. (дискретный случай)

Формальная постановка:

Пусть ансамбль X=x1…xi…xn описывает интересующее нас событие

p(x1)…p(xi)…p(xn)

Х – ненаблюдаемая случайная величина и пусть ансамбль Y=y1…yi…yn

p(y1)…p(yi)…p(yn)

характеризует опыты, по которым мы судим о том, какое событие Х имело место. Нас интересует, какое количество информации в среднем (математическое ожидание) содержится в Y относительно Х.

I(YX)=?

I(yj xi )= log2pc(xi)/ p(xi)

pc(xi)= p(xi /yj)

p('e')=0.1

p('e '/ 'e')=0.0001

I(yj xi )=M{ I(yj xi )}= p(xi ,yj)*log2 p(xi /yj)/ p(xi).

Лекция 9

Направления:Меры информации:

С

ИТ

интаксические - Хартли, Шеннона, Кульбаза

Семантические - Карнала, Бар-Хиллела, Кемени, Войшвилло, Шрейдера

Прагматические - Харкевича, Бонгарда, Стратоковича

На базе Шенноновской меры была разработаны классическая или статистическая (Шенноновская) теория информации. Попытки создать информационную теорию как некоторую мета–теорию успехом не увенчались. Огромную роль в развитии ряда прикладных и теоретических дисциплин оказала Шенноновская теория.

Основы (элементы) статистической теории информации. Количественная мера информации. Количество информации при конечном числе равновозможных исходов.

1. Монета

2. Игральная кость

3. Имеется деталь l=12525 мм.n=51,p­

Выполнено измерение l=125±5 мм.n=11

Найти размер детали с точностью до 1мм.

Какое количество информации мы получили в результате опыта I-?

(бит)

k=1 (так полагают)

a=2 (двоичная система информации - бит)

a=e(натуральная единица)

1. (бит)

Таким образом получение одной двоичной единицы информации соответствует тому, что мы узнаем какое из двух равновероятных событий имело место, или какаяиз двух равновероятных гипотез справедлива.

2. (бит)

3. (бит)

n

(бит) Формула Хартли (1928г.)

Количество информации как случайная величина. Энтропия.

Ряд распределения

- среднее математическое ожидание

- количество информации

Дискретную случайную величину называют ансамблем.

Энтропия в (бит/опыт)

Энтропия характеризует среднюю неопределенность случайной величины или среднее количество информации, получаемой в одном опыте.

Пример:

Определить энтропию следующего ансамбля:

Основные свойства энтропии

1. Энтропия одномерной случайной величины (одномерного дискретного ансамбля) Х – величина неотрицательная.

, тогда и только тогда, если все вероятности ансамбля, за исключением одного равны нулю, а эта единственная равна единице.

В остальных случаях

2. Энтропия ансамбля Х максимальная

, где

n– число событий данного ансамбля только в том случае, если

(т.е. если события равновесны)

3. Двумерная случайная величина

Энтропия источника в установившемся состоянии определяется по следующей формуле:

Пример1.

Пример 2.

17.04.03

Вспомним:

Х₁,……., Х_n наблюдаемая

X= p_(x1),…..., p_(xn) случайная величина

(температура)

Y₁,…….,Y_n (показывает

Y= p_(y1),…..., p_(yn) градусник)

I Y X ?

Опыт Y перераспределяет (изменяет) α

I Y_j X_i =log₂ p_c(α_i) ∕ p(α_i)

Pc(α i) – апостериорная вероятность.

Теория вероятности имеет дело не со случайностями, а с закономерностями.

I Y X = ∑∑ p (α_i ∕ y_i) log2 [p(α_i ∕ y_i) ∕ p(α_i)]

Если воспользоваться свойством log и провести ряд элементарных преобразований, то нетрудно получить, что

I Y X = H X - H X/Y (*)

(см. выкладку 4-ого свойства энтропии)

где H (α)=-∑p(α_i) log2 p(α_i)

(энтропия ансамбля α)

а H (α∕y)=-∑p(y_j) ∑p(α_i, y_j) log2 p(α_i ∕ y_j)

(условная энтропия ансамбля α )

Если помех нет, то

I Y X = H (α)

при чем

H X/Y = 0

H X/Y характеризует остаточную неопределенность

Получим фундаментальное соотношение теории информации:

I Y X =

=∑∑ p(α_i, y_j)log2 [p(α_i ∕ y_j) ∕ p(α_i) (p(y_j)∕ p(y_j))]=

= p(α_i, yj) = ∑∑ p(α_i, y_j) log2 [p(α_i, y_j) ∕ p(α_i) p(y_j)]

I Y X = ∑∑ p(α_i, y_j) log2 [p(α_i, y_j) ∕ p(α_i) p(y_j)]

(фундаментальное соотношение теории информации)

Если преобразовать это выражение, то

I Y X = H X + H Y - H X,Y (**)

Получим еще одно соотношение:

p(α i, yj )= p(α i) p(yj ∕α i)

значит

I Y X = ∑∑ p(α_i, yj) log2 [p(y_j ∕ α i)∕ p(y_j)]

Если выполнить преобразования, аналогичные формулам (*) и (**), то получим следующее:

I Y X = H Y - H Y/X

I Y X = I X Y

I Y X (***)

Наиболее удобна формула

I Y X = H X + H Y - H X,Y (**)