5.Аддитивная мера (Хартли).

Втеории инф-ии важн-ю роль играет комбинаторика чисел и кодов.L-длина числа, кол-во разрядов. H - глубина числа, основание кода - кол-во различ-х элем-в (знаков) содер-ся в принятом алфавите. Глубина числа соответствует основаниям сис-мы счисления и кодирования. Один полный алфавит занимает одно числовое гнездо, глубина которого h.

I-кол-во числовых гнезд, т.е. кол-во повторений алфавита. Некоторое кол-во чисел и представл-ся числовым полем. Q=H^L (кол-во чисел, кот-е можно представить в этом поле).

В следствии показ-го з-на зав-ти Q(L) число Q явл-ся неудоб-й мерой для оценки информационной емкости, поэтому вводят вторую аддит-ю логарифмическую меру, позвол-щую вычислять количественную инфор-ию, в двоич-х ед-цах-битах.

I(кол-во инфор-ии)=log₂Q=log₂H^L=L*log₂H{бит}

6. Статистические меры информации. Вероятность и информация

Энтропия-мера неопределенности пол-го сообщения. Чем меньше вер-ть, тем больше энтропия. При вероятностном подходе событие рассм-ся как сообщение о случ. событие, так и реализация случ-й величин. Кол-во инф-ии ставится в зависимость от априорных вероятностей совершения этих событий. Вер-ть сообщения P(x);g=1-P(x)-вер-ть против. события. События и антисобытия в совокупности образуют однопредметное событие. Сущ-ут 2-х предметное событе, когда нужно сделать выбор. В орпед-ый момент времени присутствует только одно событие. P=q=0.5

События м. рассматриваться как исходы некоторого опыта, причем все возможные исходы составляют ансамбль или полная группа событий. Сумма всех вер-ей равна 1.

P

Вер-ти могут изменяться во времени.Процессы наз-ся нестационарными.

1+P2+Pk=1.Схема ансамбля:

Исход опыта	A1	A2	Ak
Значение величины	X1	X2	Xk
Вер-ть исхода	P1	P2	Pk

В инф-ке энтропия хар-ет способность ист-ка отдавать инф-ию.

, N-общее кол-во молекул; ni- кол-во молекул, обладающих скоростью. ni/N=Pi, , ,

7.Понятие энтропии. Энтропия ансамбля.

Энтропия-мера неопределенности пол-го сообщения.

Ансамблем наз-ся полная группа событий или поле несовместных событий с известным распределением вероятностей, состовляющих 1.Энтропия ансамбля-кол-ая мера его неопределенности, а значит информативности. Энтропия количественно выр-ся как средняя ф-ия множества вероятностей каждого из воз-ых исходов опыта. N-кол-во возм. исходов;

k-кол-во без повторений, ni-повторения,Ii-кол-во инф-ии i-го опыта.

ni/N=Pi,

H=Iср

Для натур-го логарифма ед-цы измер-я 1Нит. Для десятичного 1Дит. 1Нит.=1,44 бит;1Дит.=3,3219 бит. Энтропия м.б. определена как среднее кол-во инфор-ии на одно сообщен-е или мат. ожид-е кол-ва инфор-ии для измер-й вх-й вел-ны х. H(x)=M[I(x)];

Свойства фун-ии H(p):

1)H(p)-непрерывна на интервале 0≤p_i<1, т.е. при малых изменениях P велич. энтропии мало измен-ся.

2)H(p) симметр-но отн-но веороятности р, т.е. не измен-ся при любой перемене мест аргумента p_i

3)H(p₁,p₂,...p_k-1 ,q1,q2) =H(p₁,p₂...,P_k)+Pk*H (p₁/p_k,p₂/p_k)

Имеется система событий из К событий. Одно событие Рк состоит из 2-х:q1 и q2 (q1+q2=Pk)

Общая энтропия системы будет равнятся сумме 2-х энтропий: а) Энтроп. Неразветв. Сис

б) Произведение веса Рк и энтропии, состоящей из условных событий

H(1/2;1/3;1/6)=H(1/2;1/2)+1/2*H(2/3;1/3)

4) Энтропия всегда неотрицательна

5)Энтропия = 0 в том крайнем случае, когда вер-ть появл одного события равна 1, а всех остальных = 0;

6)Энтропия имеет наибольшее значение в том случае, когда вер-ти свершения всех событий равны.

7) Логарифмическая информация численно равна кол-ву информации, опред мерой Хартли.

8.Свойства энтропии.

Неопред-ть в каждой ситуации хар-ся вел-й наз-ой энтропией

1)H(p)-непрерывна на интервале 0≤p_i<1, т.е. при малых изменениях P велич. энтропии мало измен-ся.

2)H(p) симметр-но отн-но веороятности р, т.е. не измен-ся при любой перемене мест аргумента p_i

3)H(p₁,p₂,...p_k-1 ,q1,q2) =H(p₁,p₂...,P_k)+Pk*H (p₁/p_k,p₂/p_k)

Имеется система событий из К событий. Одно событие Рк состоит из 2-х:q1 и q2 (q1+q2=Pk)

Общая энтропия системы будет равнятся сумме 2-х энтропий: а) Энтроп. Неразветв. Сис

б) Произведение веса Рк и энтропии, состоящей из условных событий

H(1/2;1/3;1/6)=H(1/2;1/2)+1/2*H(2/3;1/3)

4)Энтропия всегда неотриц-на, т.к. знач-е вероят-й выраж-ся дроб-ми велич-ми: log₂p_i=-(-Q_i),а их log отриц.;

5)Энтропия=0, в том случае, когда одно событ.=1, а остал-е=0;Это когда о величине изв-но все заранее и рез-т не приносит новой инф-ии

6)Энтропия имеет max знач-е в том случае, когда все вероят-ти равны м/у собой. ПРИМЕР

H=-log₂(1/k);p1=p2=..=-pk=1/k

K=h,h-глубина алфавита; Q=h^l,l-число букв в слове. l=1, то I=log₂Q=log₂h.

Совпадение оценок кол-ва инф-ии по Шеннону и по Хартли свид. о полном использовании информац. емкости системы (только при равновер.)

В случае не равных вероятностей кол-во инф-ии по Шеннону меньше инф.емкости.

P1=P2=0,5

=1бит

P1=0,9 P2=0,1

;

P1=1,P2=0,H=0 бит