Комбинаторная мера

Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов.

1. Сочетания из h элементов по l различаются составом элементов. Их возможное число равно:

Q = C^l_h = h*(h-1)…(h-l+1)/l!

Например число сочетаний из трехбуквенного алфавита А, Б, В по 2 будет равно 3: АБ, АВ, БВ.

2. Перестановки h элементов различаются их порядком. Число возможных перестановок h эле ментов:

Q = П_h = h!

Например число перестановок букв трехбуквенного алфавита А, Б, В будет равно 6: АБВ, АВБ, БАВ, БВА, ВАБ, ВБА.

3. Размещения из h элементов по l различаются составом элементов и их порядком. Возможное число:

Q = P^l_h = h*(h-1)…(h-l+1)

Например число размещений из трехбуквенного алфавита А, Б, В по 2 будет равно 6: АБ, БА, АВ, ВА, БВ, ВБ.

При применении комбинаторной меры возможное количество информации Q заключается не в простом подсчете квантов, как в геометрическом представлении, а в определении количества осуществляемых комбинаций. Количество представляемой информации при том же количестве элементов можно существенно повысить.

Аддитивная мера (Хартли)

Определение аддитивной меры исходит из позиционной системы счисления.

Глубиной h будем называть количество различных элементов (знаков, букв) содержащемся в принятом алфавите. Глубина числа соответствует основанию системы счисления и кодирования.

Длиной l числа называется количество разрядов кода, необходимых и достаточных для представления чисел нужной величины Q.

Количество чисел, которое можно представить при глубине h и длине l составит:

Q = h^l

Например, при глубине h = 3 для трехбуквенного алфавита А, Б, В и длине l = 2 для двухразрядного кода количество чисел будет равно 9: АА, АБ, АВ, БА, ББ, БВ, ВА, ВБ, ВВ.

Вследствие показательного закона зависимости Q от l число Q не является удобной мерой для оценки информационной емкости. Поэтому Хартли ввел аддитивную двоичную логарифмическую меру, позволяющую вычислять количество информации I в двоичных единицах:

I = log₂ Q = log₂h^l = l*log₂h

Если количество разрядов (длина числа) равна единице, принята двоичная система счисления (глубина h алфавита равна двум) и используется двоичный логарифм, то потенциальное количество информации равно одному биту.

Составим таблицу, показывающую соотношение h и l при примерно одинаковом обьеме Q = 1000:

l = log₂Q / log₂ h

h	1000	32	10	4	3	2	1
l	1	2	3	5	6	10	1000

Исследование гиперболической зависимости при минимизации произведения h * l дает в результате h = е = 2.7.. . Таким образом можно констатировать, что оптимальным основанием для системы счисления кодов является h = 3.

Статистическая мера информации

Связь между энтропией и количеством информации.

Ансамблем называется полная группа событий, с известным распределением вероятностей, составляющих в сумме единицу.

Энтропия H характеризует неопределенность априорного состояния ансамбля событий, а

количество информации I - мера снятие неопределенности при получении сообщения о событии.

Количественно мера информация совпадает с мерой измерения энтропии.

Например, ансамбль знаний студента до лекции был:

У₁, У₂,…У_т,…У_к, где У_к – конкретная область научных дисциплин со своими вероятностями познания:

Р(У₁), Р(У₂),… Р(У_к)… Р(У_к) (т – индекс для дисциплины «Теория информации»).

Ситуация априорно характеризовалась энтропией Н₁. После получения информации на лекции энтропия уменьшилась до Н₂, так как вероятность познания Р(У_т) возросла, а значит и уменьшилась неопределенность по отношению к дисциплине «Теория информации», а также в какой-то мере упорядочился ансамбль знаний.

Тогда количество информации, полученное студентом

I = H₁ - H₂

Рассмотрим ансамбль случайных дискретных событий Х:

Х(х₁, х₂,.. х_i,..х_N) , где х_i – конкретные случайные события с вероятностями:

р(x₁), р(x₂),.. р(x_i),…р(x _N)

Очевидно, что чем меньше априорная вероятность i-го события (снег в Африке), тем большую информацию несет сообщение этого события, и наоборот, чем вероятнее событие (лекция закончится до обеда), тем меньше информации в сообщении о событии. В предельном случае, когда вероятность события = 1 (детерминированное событие – «за зимой следует весна»), то количество информации о событии должно быть равно нулю. Поэтому количество информации можно выразить через величину 1/ р(x_i). Однако формула I = 1/ p(x_i) для граничных значений не подходит, так как I = ∞ при p(x_i) = 0 и I = 1 при p(x_i) = 1).

Мера измерения количества информации для дискретных случайных сообщений впервые была предложена Шенноном в 1948г, а затем более строго была определена советским ученым Хинчиным А.Я. :

I = log_a 1/ p

Количество информации, содержащееся в конкретном сообщении о событии x_i:

I(x_i) = log_a 1/p(x_i) = - log_a р(х_i )

Для того, чтобы мера количества информации не зависела от конкретного события, а характеризовала совокупность сообщений ансамбля Х вводится усредненная статистическая оценка, как математическое ожидание элементов I(x_i) по всем x_i (1≤ i ≤ N) -

среднее количество информации, содержащееся в сообщениях ансамбля Х:

I(Х) = - I(x_i) = -p(x_i)log_a р(х_i )

Основания логарифма «а» определяет единицу измерения количества информации. Двоичная единица, соответствующая основанию, равному двум, называется битом. Основанию е = 2,718, соответствует натуральная единица – нит (в математике), 1 нит = 1,44269 бит. Основанию, равному 10, соответствует десятичная единица – дит (в астрономии) или хартли, 1 дит = 3.32193 бит.

В нашей области науки и техники используется двоичная система счисления, поэтому основание логарифма для вычисления количество информации будет равно двум.

Свойства количества информации дискретных сообщений:

1. Количество информации - вещественная, неотрицательная и ограниченная величина 0=< I(Х)<=M

2. Количество информации детерминированных сообщений равно нулю.

I(x_i) = 0 для p(x_i) = 1

3. Количество информации максимально, если сообщения равновероятны.

Imax (X) = - - log₂ р(х ) = log₂ 1/pi = log₂N

I=1

Доказательство 1.

1. I(Х) = -p(x_i) log₂ р(х_i) – вещественная, так как p(x_i) – вещественная.

2. I(Х) = -p(x_i) log₂ р(х_i) – неотрицательная, так как 0 ≤ p(x_i) ≤1 и log₂ р(х_i ) ≤ 0 .

3. I(Х) = -p(x_i) log₂ р(х_i) – ограниченная, т.к. имеет максимальное ограниченное значение (доказательство 3).

Доказательство 2.

I(Х) = - p(x_i) log₂ р(х_i) = 0 для р(х_i) = 1.

Рассмотрим предел p(x_i) log₂ р(х_i) при х_i → 0.

Lim p(x_i) log₂ р(х_i) = | y = log₂ р(х_i), z = 1/p(x_i) | = Lim y/z = Lim y'/z' =

= - Lim {1/ р(х_i)} /{1/ р(х_i)²} = - Lim р(х_i) = 0.

Доказательство 3.

Максимально возможное количество информации, содержащееся в N сообщениях, получается для случая равномерного распределения, то есть при p(x_i )= 1/N

Imax (X) = - (1/N)* log₂ р(х ) = log₂ 1/p(x_i) = log₂ N

И совпадает с аддитивной мерой по формуле Хартли, где Q = N. Совпадение оценок количества информации по Шеннону и Хартли свидетельствует о том, что при максимально эффективном статистическом состоянии ансамбля событий, а именно при равновероятности всех событий ансамбля, статистическая информационная емкость полностью использует возможности структурно построения информационной системы для ансамбля событий. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости ансамбля.