Раздел 1. Информация о физических величинах

Лекция № 2

Тема. Синтаксические, семантические и прагматические аспекты информации

Учебные вопросы.

Вопрос 1. Количество информации. Обоснование меры неопределенности. Меры неопределенности Р. Хартли и К.Шеннона. 1

Вопрос 2. Основы семиотической теории информации 8

Вопрос 3. Определение ценности информации. Апостериорный подход 11

Вопрос 4. Мера ценности информации (А.Харкевича) 16

Вопрос 1. Количество информации. Обоснование меры неопределенности. Меры неопределенности р. Хартли и к.Шеннона.

1.1. Количество информации.

Основной количественной характеристикой информации является ее количество - количество информации.

Для ее оценки сначала рассмотрим вспомогательный термин – неопределенность (энтропия).

Энтропия – (H) есть информационная мера неорганизованности или разнообразия (сложности, неопределенности) ситуации или объекта материального мира.

Назовем исходную неопределенность, до получения информации, априорной H_apr, а неопределенность после получения информации – апостериорной H_aps.

Тогда под количеством информации, содержащейся в сообщении понимают разность между априорной и апостериорной неопределенностями:

I = H_apr – H_aps . (1.1)

Из выражения (1.1) следует, что

0 ≤ I ≤ H_apr, (1.2.)

причем:

I = 0 если H_apr = H_aps, т.е. после получения сообщения неопределенность не уменьшилась;

I = H_apr, если H_aps = 0, т.е. после получения сообщения неопределенности не осталось.

1.2. Обоснование меры неопределенности.

Исходя из логики здравого смысла, мера неопределенности должна обладать следующими свойствами или, иначе, удовлетворять следующим требованиям:

1. Быть неотрицательной

H ≥ 0; (1.3)

2. Быть равной нулю, если об объекте известно все (неопределенность отсутствует), а остальных случаях должна быть больше нуля

, (1.4)

где K – количество возможных состояний объекта;

3. Быть монотонно возрастающей функцией количества K состояний объекта

K₁ < K₂  H(K₁) < H(K₂); (1.5)

4. Целесообразно, чтобы выполнялось свойство аддитивности, т.е. общая неопределенность нескольких стохастически независимых систем равнялась сумме неопределенностей этих систем).

Перечисленным выше требованиям могут удовлетворять различные меры энтропии.

Теперь для построения меры количества информации нам остается установить, какой именно функциональной зависимостью она связана с мощностью исходного множе­ства.

1.3. Информационная мера неопределённости р. Хартли (энтропия комбинаторная).

Всем перечисленным выше требованиям, в том числе и требованию аддитивности, удовлетворяет комбинаторная мера (мера неопределенности Р. Хартли).

Л. Бриллюэн:

О п р е д е л е н и е Комбинаторная мера неопределенности есть логарифм количества состояний объекта

H(К) = log_a K, (1.6)

где K = card (A), и а – произвольное основание логарифма, выбираемое произвольно, с учетом особенностей задачи. В частности, если основание логарифма a равно 2, то единицей неопределенности H(А) является бит, если десять – дит, а если логарифм натуральный (a = e = 2,17…), то – нит:

H(А) = log₂ K, [бит];

H(А) = lg K, [дит];

H(А) = ln K, [нит].

Пример:

а). Неопределенность H(А) двоичного N – разрядного слова равна N бит:

H(А) = log₂ 2^N = N бит;

б). Неопределенность H(А) десятичного N – разрядного числа равна N дит:

H(А) = lg 10^N = N дит.

Следует помнить, что мера Р. Хартли применима только для тех случаев, множество А состояний объекта конечно

K = card (A) < ∞.

1.4. Энтропия к. Шеннона.

Пусть в качестве сообщения ожидается текст на русском языке.

Принята первая буква текста. Учитывая, что буквы алфавита имеют различную частоту встречаемости в текстах (например буква «а» и буква «ъ») количество информации в принятой букве «ъ» должно быть больше, чем в принятой букве «а». Мера Хартли этого не учитывает.

Статистические свойства элементов сообщения учитываются селективной энтропией или статистической неопределенностью, неопределенностью К. Шеннона.

Пусть дано множество X = {x₁, …, x_i, …, x_N }, состоящее из N элементов и вероятности P(X) ={P(x₁ ), …, P(x_i ), …, P(x_N )} появления этих элементов (табл. 1.1).

Таблица 1.1.

Распределение вероятностей P(X) появления объектов множества X

X	x1	x2	…	xi	…	xN
P(X)	P( x1 )	P( x2 )	…	P( xi )	…	P(xN )

Поскольку все события появления элементов множества X составляют полную группу несовместных событий, справедливо равенство

(1.7)

О п р е д е л е н и е. Частная энтропия H(x_i) появления события x_i

H(x_i ) = - log_а P(x_i ). (1.8)

Анализ выражения (1.8) показывает, что при P(x_i) = 0 и при P(x_i) =1 частная энтропия равна нулю H(x_i) = 0, т.е. если появление события x_i невозможно или достоверно, то никакой неопределенности нет, в остальных случаях она больше нуля. Причем, чем «дальше» P(x_i) от нуля и единицы, тем по существу неясность (неопределенность) больше и численно значение H(x_i ) также больше. Таким образом, частная энтропия удовлетворяет требованиям, предъявляемым к мерам неопределенности.

О п р е д е л е н и е. Статистическая энтропия Шеннона ( средняя энтропия) источника дискретных сообщений есть математическое ожидание частных энтропий появления всех событий

. (1.9)

Можно заметить, что энтропия Хартли есть частный случай энтропии Шеннона при i: P(x_i)= 1/N, т.е. когда все события равновероятны, что соответствует наибольшей неопределенности

(1.10)

С введенным понятием тесно связан ряд других, производных мер.

Пусть имеются два множества X и Y и известны: вероятность P(x_i ) появления элемента x_i  X, вероятность P(y_j ) появления элемента y_j  Y и условная вероятность¹ P(x_i /y_j ) появления x_i при известном исходе y_j.

О п р е д е л е н и е. Энтропия условная – энтропия, определяемая при известном исходе другой ситуации:

. (1.11)

Анализ выражения (1.11) показывает, что H(X/Y) ≤ H(X) и при статистической независимости X и Y в Y нет информации о X и H(X/Y) = H(X).

Если же X и Y взаимосвязаны функционально, т.е. по известному y_j точно определяется x_i, то H(X/Y) = 0.

О п р е д е л е н и е. Энтропия совместная двух случайных событий есть величина, определяемая выражением

H(X,Y) = H(Y) + H(X/Y) = H(X)+ H(Y/X). (1.12)

Анализ выражения (1.12) показывает, что H(X,Y) ≤ H(X)+H(Y) и при статистической независимости X и Y

H(X,Y) = H(X) + H(Y). (1.13)

О п р е д е л е н и е. Взаимная информация – информация, содержащаяся в множестве Y относительно множества X

I(Y,X) = H(X) – H(X/Y), (1.14)

т.е. насколько уменьшится неопределенность множества X при снятии неопределенности с множества Y.

Из (1.12) и (1.14) следует равенство:

I(Y,X) = H(X) + H(Y) – H(X,Y) = I(X,Y) (1.15)

Из (1.13) и (1.15) следует, что если Y и X статистически независимы, то взаимная информация равна нулю I(Y,X)=0.

Приведенная мера неопределенности, также как и мера Р.Хартли применима для объектов с конечным количеством состояний. Однако, заменой вероятностей на плотности вероятностей мера неопределенности по К.Шеннону может быть распространена на объекты, состояния которых являются непрерывными случайными величинами. В этом случае используется дифференциальная энтропия.

Пусть события выбираются из бесконечного множества – множества действительных чисел.

Разобьем всю числовую ось на равные интервалы  x. Тогда вероятность P(x_i) принятия случайной величиной X значения из интервала  x_i равна площади прямоугольника

 x_i (1.16)

где p(x) – плотность вероятности СВ Х,

x_i – середина интервала ∆x_i,

а все ∆x_i =∆x

Подставим (1.16) в (1.9):

(1.17)

Перейдем к пределу –> 0:

^(1.18)

Разложим логарифм произведения в сумму логарифмов:

(1.19)

Второе слагаемое

Здесь важно не ошибиться и не воспользоваться формулой:

_,

_{там сумма вероятностей и она конечно равна единице, а в нашем случае имеются плотности вероятностей и единице будет равна сумма плотностей, умноженных на интервал ∆х}

При переходе от суммы к интегралу первое слагаемое

Тогда средняя энтропия непрерывной случайной величины

. (1.20)

log _a x не зависит от распределения p(x) и не характеризует его. Он является константой (при фиксированном интервале  x), может служить константой интегрирования, или интерпретироваться как задание системы координат .

Таким образом, только первое слагаемое выражения (3.14) характеризует неопределенность источника и называется дифференциальная энтропия источника непрерывной случайной величины:

(1.21)

и H(X) = H_Д(X) – log_a x.

Энтропия принадлежности случайной величины интервалу )

не зависит от  x.

Мера неопределенности К. Шеннона лежит в основе множества математических выражений позволяющих рассчитывать многие прикладные характеристики (скорость передачи информации по каналу с помехами и т.д.).