Характеристики сообщений

До этого места, говоря об информации, мы ограничивались в ее

определении призывами к здравому смыслу. Теперь же попробуем

описать ее строже, так как использование слова информация

приводит порой к недоразумениям и многозначности. Письмо,

телеграмма, выступление по радио несут информацию и являются

сообщениями. Однако надлежит отличать сообщения от извещений.

Понять разницу между ними позволит следующий анекдот. Однажды

Пьер попросил свою невесту Мари, чтобы она бросила вечером из

окна монету, когда родители уйдут в кино и можно будет провести

время наедине. Родители ушли, и Мари бросила монету. Через

полчаса ожидания она, выглянув на улицу, увидела Пьера,

обшаривающего тротуар. Таков сюжет, а теперь перейдем к

размышлениям. Зачем Пьер занимался поиском? Скупость отвергнем

сразу же - монета не купюра, да и драгоценное время уходит.

Скорее всего, что бросок монеты Мари приняла за извещение:

наступил момент времени, когда ушли родители. А Пьер, искушенный

в информатике любовных посланий, отнесся к этому событию как к

сообщению: если брошена монета, то родители ушли, а если

обручальное кольцо, то ему предлагают утешиться аперитивом в

ближайшем бистро. Извещения несут в себе информацию лишь о

времени наступления известного заранее события. Ими являются

сигнал точного времени, свисток футбольного судьи, выстрел

стартового пистолета. А вот сообщения существуют вне времени,

например, картина Рубенса, текст инъективы Цицерона против

Саллюстия, опера Чайковского "Пиковая дама", лозунг Ленина "Вся

власть Советам" или зажженная надпись STOP на переходе.

Сообщения, как бы сложны они не были, можно представить себе

в виде последовательности знаков. Эти знаки берутся из заранее

фиксированного набора, например, русского алфавита или палитры

цветов (красный, желтый, зеленый). Разные знаки могут встречаются

в сообщениях с разной частотой. Поэтому количество информации,

передаваемой разными знаками может быть разным. В том смысле,

который предложил Шеннон, количество информации определяется

средним числом возможных вопросов с ответами ДА и НЕТ для того,

чтобы угадать следующий символ сообщения. Если буквы в тексте

следуют независимо друг от друга, то среднее количество

информации в сообщении приходящееся на один знак, равно:

H= См. PiLd(Pi)

где Pi - частота появления символа i, a Ld- двоичный логарифм.

Отметим три особенности такого определения информации.

1. Оно абсолютно не интересуется семантикой, смыслом

сообщения, и им можно пользоваться, даже когда точный смысл

неясен.

2. В нем предполагается независимость вероятности появления

знаков от их предыстории.

3. Заранее известна знаковая система, в которой передается

сообщение, то есть язык, способ кодирования.

В каких единицах выражается значение количества информации по

Шеннону? Точнее всего ответ на этот вопрос дает теорема

кодирования, утверждающая, что любое сообщение можно закодировать

символами 0 и 1 так, что полученная длина сообщения будет сколь

угодно близка сверху к Н. Эта теорема позволяет назвать и единицу

информации - бит.

Каждый, кто использовал, работая на персональном компьютере,

архиваторы, знает, как лихо они ужимают текстовые файлы, ничего

при этом не теряя. Их работа лучшим образом демонстрирует теорему

кодирования в действии. Так как для русского текста, переданного

лишь прописными буквами, Н=4.43, то это означает, что в принципе

в русском алфавите можно было бы обойтись лишь 22 буквами или на