1.3 Количественная оценка характеристик информации

Задача оценки информационных свойств системы и её структурных компонент является одной из самых сложных при исследовании систем из-за необходимости учёта как качественных, так и количественных характеристик информации. Причём, в большинстве случаев приходится решать задачу извлечения полезной для целей исследования информации из общего объёма имеющейся в наличии. Становлению теории информации как науки способствовали работы А.Н.Колмогорова, В.А.Котельникова, К.Шеннона, Дж. Хартли и других. Процесс извлечения и уяснения информации связан с процессом поиска и сравнения образа с эталонным образом или аналогом, хранящимся в памяти системы. Под образом (ситуацией) будем понимать отражение системы в одной из сфер среды, её окружающей. Тогда проблема, решаемая системой проецируется последовательно в разные сферы с целью выяснения, какие образы там возникают и насколько они важны для решения проблемы в целом (подробнее см. гл. 2). В свете сказанного, информация, получаемая системой есть то, что извлекается из образа в процессе его восприятия системой [ 13], тогда:

X Y S

Обозначим Y = f(X)

Где некоторый объект, отображающийся в систему S в виде образа Y.

Извлекая информацию из образа Y, система S делает обратное внутреннее отображение, создавая информационную копию Z объекта X, т.е.

Z = U ( Y )

При такой трактовке информация может существовать на физическом и идеальном уровнях. Так, принятая системой информация может быть на физическом уровне не понята и не извлечена системой, процесс уяснения информации (антиредукция) переводит её в сферу идеального, где она используется непосредственно для решения задач. Естественно, что существует и прямой путь получения информации непосредственно из сферы идеального с последующей редукцией в случае необходимости на физический уровень. В процессе получения информации имеет место неопределённость, и при принятии решения выводы делаются в интервале неопределённость - риск - определённость, при постепенном снятии неопределённости. Под уровнем неопределенности будем понимать показатель, характеризующий оставшуюся неопределённость. После того как вся существующая информация будет принята во внимание. Таким образом, уровень неопределённости выражается вероятностью, приписываемой исходам события, и имеет место тогда, когда нужно произвести выбор из совокупности возможных исходов. Формально уровень неопределённости с n дискретными исходами оцениваемых вероятностью р_k определится как:

H_s = - (1.1)

Для простого события, которое оценивается двумя несовместимыми событиями р, q = 1- р в случае равенства исходов p = q = l/2, H_s приобретает максимальное значение (рис. 1.3)

Рис. 1.3 Зависимость неопределённости в случае двух исходов

Когда исход определён, H_s = 0.

Таким образом, уровень неопределённости можно связать с информацией о событии, которая где-либо имеется. Связывая неопределённость с информацией можно утверждать, что в случае двоичного кода максимальная неопределённость равна одной двоичной единице информации или одному биту. К. Шенноном введено понятие энтропии, оцениваемой математическим ожиданием случайной величины информации, содержащейся в сигнале. Такая информация носит название собственной. Введённое понятие энтропии как меры неопределённости не путать с понятием энтропии в других областях знания:

-в термодинамике это мера необратимого рассеяния и энтропия равна нулю при нуле по Кельвину,

- в статистической физике это мера вероятности осуществления состояния.

Далее в тексте будем придерживаться энтропийных оценок по Шеннону. Иллюстрация снятия неопределённости дана на рис. 1.4

Рис. 1.4 Уровни неопределённости

Для остающейся неопределённости всегда справедливо неравенство Hs < Н где Н - начальная неопределённость, а H₀ -конечная после проведения оценки Н - Hs характеризует максимальный объём информации, который может быть получен,

Н – Н₀ объём новых знаний или информация о сигнале

Н₀ – H_s объём недостающих знаний.

Ошибки могут быть вызваны рядом причин, среди которых можно назвать несовершенство источника информации , её двусмысленность, погрешности приёмника сигнала и алгоритма обработки и т.д. Необходимо также отметить, что в ряде случаев поступление дополнительной информации может не снизить, а повысить неопределённость. Теперь перейдём к определению количественных мер информации. Возможны три подхода к определению количества информации: комбинаторный, вероятностный и алгоритмический. В основе большинства используемых количественных мер лежит принцип разнообразия, в соответствии с которым считается, что количество информации об объекте Х тем больше, чем выше разнообразие его характеристик и чем полнее и точнее определяются характеристики системой S. [18] Вероятностная мера Шеннона определяется выражением

I = H(X) – H₀(X)

где Н(Х) исходная, априорная неопределённость характеристики объекта, Н₀(Х)- апостериорная неопределённость этой характеристики. В случае дискретной характеристики объекта

1.2

где P_k, P_k0 - соответственно вероятности k-го значения характеристики объекта до приёма и преобразования образа объекта.

Комбинаторная мера Хартли определяется выражениями

или

где m_k - число возможных состояний по k-му значению характеристики образа. Обе эти меры тесным образом связаны между собой. Алгоритмическая мера информации связана с представлением о минимальной длине программы, с помощью которой осуществляется извлечение информации из сигнала. Характеристики информация при её практическом использовании можно разделить на три основные группы:

1. По отношению к получателю, характеризующаяся значимостью и интенсивностью

2. По отношению к источнику, характеризующаяся существенностью для функционирования системы .

3 . По отношению к самой себе (внутреннее качество информации), характеризующаяся достоверностью и количеством.

Значимость характеризует степень достижения целей системой получателем и оценивается из выражения:

U = - (1.3)

где U (x) мера значимости некоторого состояния х X. Интенсивность поступления информации определяет нагрузочную характеристику системы и ценность информации (при редких сообщениях ценность может снизиться ). В процессе оперативного управления при умеренной интенсивности потока информации (0,2 - 5 бит/сек ) человек обычно определяет как более важную ту информацию, которая поступает чаще, за исключением единичных, но обладающих высшим приоритетом сообщений.

Достоверность информации, получаемой системой S, зависит, прежде всего, от соответствия состояния приёмника (образа источника в нём) y Y состоянию источника х Х и от правильности формирования идеального прообраза z Z, тогда

I (x,y)=

Отметим, что количественная оценка достоверности теперь выражена через условные вероятности того, что наблюдаемый образ y соответствует оригиналу х с учётом I ( х, у).

Прежде чем определить понятие максимума полезной информации рассмотрим возможные варианты между поступаемым на объект сигналом и состоянием самого объекта:

- в случае получения достоверного и своевременного сигнала объектом, находящимся в состоянии отказа, объект не может произвести никаких полезных действий;

- точно такая же ситуация возникнет в случае получения исправным объектом зашумленного и искажённого сигнала;

- очевидно, что в рассмотрении должны участвовать работоспособный объект (см. гл. 2) и сигнал, из которого можно выделить полезную составляющую.

Информационные обмены предусматривают достаточный уровень согласованности между сигналами управления, целями и ресурсами систем, выражаемый принципом координации. Принцип координации приводит к принципу максимума полезной информации, генерируемой системой в течение одного полного технологического цикла:

I max при I₀ = const , I_Т = const

где I - объём генерируемой полезной информации, I₀- объём перерабатываемой в процессе генерации информации, I_Т - объём материализованной в данной системе информации. Приведём выражение, связывающее объём выходной информации с объёмом информации, перерабатываемой в процессе выполнения технологического цикла:

exp = exp + 1.4

где - среднеквадратичная погрешность фиксации выходной переменной у, обусловленная неопределённостью неконтролируемых компонент вектора входных переменных х, n - число управляемых компонент вектора х, I_k - объём информации, перерабатываемой системой относительно k-ой компоненты вектора х :

I_k = ln

- среднеквадратические погрешности фиксации k-ой компоненты вектора х в начальный момент и в текущий соответственно, h_k =

где у - выходная координата системы х_k X.

Уравнение информационных обменов может быть представлено в более удобном виде:

exp = (1.5)

С учётом (1.5) принцип максимума полезной информации может быть записан в виде:

exp =

Решение этой системы позволяет определить оптимальные значения информационных переменных I_k, а значит и оптимально необходимые уровни неопределённости фиксации переменных х_k

+ ln h_k - h_k ln h_k (1.6)

Для величины I будет справедливо:

exp = exp

Поведение величины I при I показано на рис. 1.5. Из рисунка видно, что величина объёма полезной информации стремится к конечному пределу, т.е. очевидно, что при достаточно большом объёме информации I₀ его дальнейшее увеличение нецелесообразно.

Рис.1.5.Поведение при

Ограничимся изложенным, и вопросы кодирования, оценки энтропии непрерывных сообщений, скорости передачи, пропускной способности канала, избыточности информации оставим для специальных курсов.

Заключая этот раздел , сделаем следующие выводы:

1. Мерой информации является вероятностная оценка неопределённости.

2. Количество информации неотрицательно и стремится к конечному пределу.

3 Информация должна обладать характеристиками, позволяющими ЛПР принимать управляющие решения