3. Способы измерения информации: геометрическая мера, комбинаторная мера

счетное множество дискретных элементов, используемых для формирования дискретных сообщений наз. алфавитом. А элементы этого алфавита принято наз. буквами. Число букв в алфавите наз объемом алфавита, элементы представляющие собой минимальные неделимые части информ в дискретных моделях информ систем наз квантами информ.

Геометрическая мера. Данная мера основана на оценке числа квантов на которые может быть разбита рассматриваемое информац. Пространство в пределах заданных конструктивных габаритов.

Комбинаторная мера. Такая мера используется в тех случаях когда необходимо оценить возможности передачи при помощи различных комбинаций информ элементов. Образование таких комбинаций представляет собой один из методов кодирования. В рамках комбинаторной меры кол-во информ вычисляется как число возможных комбинаций, образованных из информационных элементов. При этом кол-во информ содержащееся в сообщении оказывается зависящей от способа образования комбинаций. В комбинаторики рассматривают различные способы организации комбинации элементов:

1. сочетание из n элементов по k

2.перестановка из n элементов = n!

3.Размещение

В результате получается что кол-во информ. зависит от способа построения комбинаций, т.е. имеет неоднозначный характер. Эти меры информ не удобны и не универсальны.

4.Аддетивная мера информации. Мера Хартли.

В 1928 г американский инжер Р.Хартли предложил использовать логарифмическую (аддитивную) меру информ. Эта мера базируется на методике использующей след. допущения:

1.Сигналы с помощью кот передаются сообщения, носят дискретный характер

2. Алфавит, который используется для передачи сообщений состоит из конечного числа m элементов

3.Все символы алфавита статистически независимы, т.е. могут занимать произвольную позицию в слове.

4.все символы используемого алфавита равновероятны

5.Передача сообщений происходит в отсутствии помех, если m – объем алфавита, n – число букв в слове, то будем иметь N=mⁿ – число возможных сообщений в рамках этого алфавита. Хартли предложил оценивать кол-во информ. через логарифм числа возможных сообщений с одинаковым числом букв в каждом слове I=log_aN= log_amⁿ=n*log_am. Основание логарифма в общем случае может быть произвольным и влияет только на единицу измерения информ.

a=10 log₁₀N=lgN [I]₁₀=1дит

a=e≈2,72 log_eN=lnN [I]_e=1нит

a=2 log₂N=ldN [I]₂=1бит

1нит=1,44269 бит 1дит=3,332193бит

I=log_aN= log_amⁿ=n*log_am

I=n*log_am a=2, m=2, n=1 I=1*log₂2=1 бит

Т.к. согласно исходным предположениям все символы равновероятны, то и все N слов образованных из элементов этого алфавита, т.е. p₁=p₂=…=p_N=1/N => N=1/p, где р- вероятность слова I=log_aN= log_a1/р=log_a=01-log_a=0р= - log_aр => I= - log_aр

Следовательно, кол-во информ, содержащееся в любом N равномерных сигналов = log вероятности появления этого сигнала взятому с отрицательным знаком. Если условия равновероятности не выполняется, то формула Хартли перестает быть справедлива.