Ответы к ГАКу на степень бакалавра / 126
.DOC126. Измерение информации. Различные подходы к измерению информации. Синтаксическая мера к измерению информативности(нэгэнтропия).
Измерение информации осуществляется соответственно также в трех аспектах : синтактическом , семантическом и прагматическом. Потребность в таком различном измерении информации , как будет показано ниже, диктуется
практикой проектирования и организационной работы информационных систем . Три различных подхода к измерению информации не противоречат и не исключают друг друга. (количество, новизна и полезность информации). Синтактическая мера информации - мера Шеннона-Виннера. В теории Ш-В исследуется неопределенность, связанная с неполнотой сведений , относительно систем, поддающихся описанию вероятностными законами. Неопределенность- отсутствие однозначного знания о состоянии объекта у получателя информации. Степень неопределенности зависит не только от числа возможных состояний , но и от вероятностей их наступления. Неопределенность системы , состоящей из двух независимых подсистем, равнв сумме неопределенностей этих подсистем , взятых в отдельности.
Матеметическое описание свойств неопределенности
Пусть система Х имеет n возможных состояний х1, х2,...,хn , которые она принимает с вероятностями р(х1),р(х2),...
р(хn).Поскольку система Х обязательно находится в одном из состояний хi ( i=от 1 до n) , то сумма вероятностей х I=
=1.
Н(х) - это численная характеристика неопределенности системы Х . Т.о. Н(х) является функцией от n и вероятностей
р(х1),р(х2),...,р(х). Т.о. :
Н(х)=f(n,р(х1),р(х2),...,р(хn))
Для двух независимых систем Х и У:
Н(ХUУ)= Н(Х) + Н(У) .
В теории информации доказано , существует лишь единственная функция , удовлетворяющая указанным свойствам,
Эта функция называется энтропией системы Х , и она имеет следующий вид:
Н(Х)= - сумма от 1 до n р(хi)*log р(хi)
Другими словами количество неопределенности наших знаний о чем-либо.
при этом максимальная энтропия выглядит так : max Н(Х)=log n .
Под содержательностью или семантикой сообщений понимается наличие понятий и суждений , характеризующих действительное и возможное состояние объектов.Теория Бар-Хиллела и Карнапа: не рассматривает потребительской ценности сообщений и строится для простого языка, который содержит только повествовательные предложения ( высказывания ), выражающие отношения между конечным числом объектов и свойств с помощью логических связок : не , и , если , то , если и только если. Основой теории является предположение ,что данное высказывание тем более содержательно , чем меньшей определенностью оно обладает , т.е. чем большее количество описаний состояния объекта оно исключает из числа возможных , и чем больше число элементов содержания, котогые логически из него следуют. Таким образом , содержание высказывания определяется не тем , что оно содержит , а тем , что исключает.
В теории вводятся две связянные между собой меры содержания высказывания : вероятностная мера cont (Si) и информационная мера inf (Si) . Мера cont(Si) принимает значения от 0 до 1 , причем cont(Si)=0 , если высказывание Si является тавтологией, а cont(Si)= 1 , когда Si - логически ложное . В остальных случаях cont(Si)= 1- p(Si) , где p(Si)-
-логическая вероятность высказывания Si.
inf(Si) = log 1/(1 - cont (Si))= - log p(Si) и является мерой величины неожиданности высказывания Si . Мера inf(Si) учитывает , что нового несет получателю сообщение по сравнению с тем , что он знал или предполагал.
Единой концкпции прагматической информации не сущестует. Исследование и измерение прагматического качества информации невозможно без категории цели или критерия принятия решения. Исходя из этого Харкевич предложил определять меру ценности информации I как измерение логарифма вероятности достижения цели в результате получения сообщения:
I=log p1 - logp0 = logp1/p0 , где р0 - априорная субъективная вероятность достижения цели;
р1 - субъективная вероятность достижения цели после получения сообщения.