Способы измерения @.

Счетное множество дискретных элементов (символов или знаков), исп. для формирования дискретных сообщений наз. алфавитом, а элементы алфавита – буквами. Число букв в алфавите наз. объемом алфавита. Элементы, предст. собой min-е неделимые части @ в дискретныхх моделях инф. систем наз. квантами.

Геометрическая мера @.

Данная мера основана на оценке числа квантов, на кот. м.б. разбито рассм-мое инф. пр-во в пределах заданных конструктивных габаритов.

Комбинаторная мера @.

Эта мера м.б. исп-на в тех случаях, когда необх. оценить возможность передачи @ при пом. различных комбинаций инф. элементов. Образование такого рода комбинаций предст. собой. один из методов кодир-я. В этой мере кол-во @ вычисляется как число возможных комбинаций из искомых инф. символов. В комбинаторике рассм-ся различные виды соединений элементов:

1) Сочетания C^k_n= n!/(k!(n-k)!), Q=C¹₁₀+ C²₁₀+...+ C¹⁰₁₀=1024

2) Перестановки P_n=n!, Q=1·2·10=3628800 (ед. инф.)

3) Размещения A^k_n=n^k → Q=10¹⁰ (ед.инф.).

Аддитивная мера @ (мера Хартли).

В 1928 была предложена логарифмическая мера @ (аддитивная). Эта методика в основе своей базируется на след. допущениях:

- сигналы, которыми передаются сообщения носят дискр. хар-р;

- алфавит состоит из конечного числа m элементов;

- все символы алфавита статистически независимы, т.е. могут занимать произвольную позицию в передаваемом слове;

- все символы равновероятны;

- передача сообщений производится в отсутствии помех.

N=mⁿ – число возможных сообщений в рамках данного алфавита. Хартли предложил оценивать кол-во @ через логарифм числа возможных сообщений, имеющих одинак. число букв.

I=log_aN=n log _am, m – кол-во букв в алфавите.

a=10 → J=n lg m = 1 дит; 1дит=3,32193бит;

a=e → J=n ln m =1 нит; 1 нит=1,44269 бит;

a=z → J=n ld m =1 бит.

Т.к. согласно предположению, что все символы равновероятны, то равновероятны и все N слов, образованные из этих символов Р₁=Р₂=Р₃₌¹/_N, J=log_aN=log_a¹/_p=-log p_i.

Кол-во @ в рамках меры Хартли равно обратному логарифму от вероятности появления любого из N равновероятных сигналов, образованных в рамках данного алфавита. Если условия равновероятности не вып-ся, то ф-ла Хартли перестает быть справедливой.

Статистическая мера @.

Мера Хартли не отражает случайного хар-ра возникновения событий в виде сигналов от источника сообщений. Сл-но сущ-ет необх-ть устоновления взаимосвязи между кол-вом @, содержащейся в сообщении и вероятностью появления этого сообщения. При статистич. подходе @ рассм-ся как мера вероятности возникновения того или иного события. В рамках такого подхода, чем событие более верно, тем < @ в сообщении о них мы имеем и наоборот. В о.сл. любые события или сообщения о них можно рассм-ть как исходы нек. опыта. Полная группа всевозможных исходов данной ситуации наз. ансамблем событий. Если обозначить вер-ть осущ-я любого из событий из ансамбля p_i , то Σp_i=1. В реальных условиях передаваемые символы сообщений имеет различную вер-ть своего появления. Пусть общее число символов в рамках данного усл-я =N , из них m неповторяющиеся, тогда вер-ть к-л исхода будет определяться p_i=n_i/N_i , где n_i – число появлений i-го символа. Кол-во @, кот. несет каждый отдельно взятый символ:Ji=-logaPi , J=n₁J₁+n₂J₂+...+n_nJ_n ,

Jср=(n₁J₁+n₂J₂+...+n_nJ_n)/_N=P₁J₁+...P_nJ_n= - (P₁ log_aP_i +...+ P_n log_aP_n)=- ΣP_i log_aP_i .