Количество информации и избыточность

Количество информации только тогда равно энтропии, когда неопределенность ситуации снимается полностью

I=H.

В общем случае нужно считать, что количество информации есть уменьшение энтропии вследствие опыта или какого-либо другого акта познания

I=H₁-H₂.

Наибольшее количество информации получается тогда, когда полностью снимается неопределенность, причем эта неопределенность была наибольшей – вероятности всех событий были одинаковы. Это соответствует максимально возможному количеству информации I’, оцениваемому мерой Хартли

, (28)

где Q – число событий; р – вероятность их реализации в условиях равной вероятности всех событий.

Таким образом,

. (29)

Абсолютная избыточность информации D_абс представляет собой разность между максимально возможным количеством информации и энтропией

или . (30)

Пользуются также понятием относительной избыточности

. (31)

2.3. Семантические меры информации

Под семантикой понимается смысл, содержание информации.

Знаком называется условное изображение элементов сообщения, словом – совокупность знаков, имеющая смысловое (предметное) значение, языком – словарь и правила пользования им.

2.4. Другие меры полезности информации

2.4.1. Энтропия, шум и тезаурус

Можно рассмотреть полезность информации в зависимости как от степени новизны, так и от способности приемника к ее восприятию и обработке.

Следствием потребительского аспекта является дополнение информации понятием актуации в смысле активного запроса информации со стороны заинтересованного приемника. При этом имеется в виду тесная связь между этими понятиями, так как в каждой ситуации (запросе) может содержаться некоторая информация.

Существуют три типа вопросов: в одном отсутствует предвосхищение ответа, в другом имеется некоторая доля ответа, в третьем полностью содержится ответ и требуется только его подтверждение.

Информация (ответ)

Актуация (запрос)

Система Sx Объект Источник	-----	Система Sy Субъект Приемник
Информация Ответ Язык Х	-----	Актуация Запрос Язык Y
Структура Энтропия Семантика	-----	Композиция Тезаурус Прагматика

Обобщенное представление процесса обмена

информацией между двумя системами.

Таким образом замыкается связь между двумя системами (см. рисунок): системой S_x, являющейся поставщиком информации, и системой S_y – потребителем информации.

Также присутствует понятие тезауруса (от греческого «сокровищница»), под которым понимается запас знаний, или словарь, используемый приемником информации.

С учетом сказанного можно систему извлечения, передачи и приема информации представить в виде схемы.

Источник Приемник

(объект) (субъект)

Канал

Потеряно

Энтропия Шум

Н N Тезаурус

На этой схеме источник (объект) обладает определенной энтропией Н, которая характеризует способность источника отдавать информацию. Отдача может быть неполной.

Информация I=H₁-H₂поступает в канал, где часть информации теряется или искажается шумомN.

Оставшаяся информация Iдостигает приемника и воспринимается им в той степени, в какой это позволяет тезаурус.

Может оказаться, что, несмотря на высокое богатство структуры и статистики информации на передающей стороне, приемная сторона не будет нуждаться в этой информации, так как она уже ею обладает, не имеет в ней потребности или не умеет с ней обращаться.

Существует и другое положение. Если тезаурус неадекватен передаваемой информации, очень мал или вообще отсутствует, то самая новая и богатая информация не воспримется вследствие того, что она не будет понята приемником.

С приемом новой информации тезаурус может обогащаться.

Пусть богатство тезауруса количественно оценивается некоторой величиной . Изменение тезаурусапод действием сообщения Н можно оценить количеством информацииI(Н,), которое представляется графиком.

Имеется некоторое минимальное количество I_min() априорной информацииI() тезаурусав системеS_y, при котором системаS_yначинает понимать сообщения, поступающие от системыS_x. После этого воспринимаемая информацияI(H,) возрастает при увеличенииI() до точки с координатамиI_max(H,) иI_опт(), где достигается максимум восприятия. Далее следует спад, обусловленный тем, что априорные знания (тезаурус приемника) становятся настолько богатыми, что источник не приносит новой полезной информации.

В точке I_max() восприятие информации прекращается, так как системаS_yоказывается насыщенной знаниями в пределах возможностей системыS_x– потенциального источника информации.

Если языки XиYоднозначно определены, то могут быть предусмотрены трансляторы - переводчикиYXиXY, располагаемые вS_x,S_yили вS_xиS_y(совместно).

В других случаях возникает проблема взаимопонимания, которая решается методами распознавания и самообучения.

При единстве языков может иметь место непонимание из-за действия помех и искажений.

В ранее приведенной общей схеме указаны структурные, статистические и семантические характеристики информации: структура, энтропия и семантика на стороне источника S_x; композиция сообщения, тезаурус и прагматика на стороне приемникаS_y.

Композиция отражает те же стороны информационной системы, что и структура информации, тезаурус – те же, что семантика, хотя связь между этими парами понятий не является установившейся.

Наиболее близкими между собой являются понятия структуры и композиции. Структура как основа исчисления количества информации предполагает дискретное строение и декомпозицию информации, осуществляемые на передающей стороне. Поэтому естественной функцией приемной стороны является композиция, заключающаяся в том, что по возможности восстанавливаются нарушенные связи между элементами информации или воссоздается непрерывность информационного комплекса. В ряде случаев это может повлечь за собой переоценку информации