Глава 7. Основы теории информации

Теория информации – это наука, изучающая количественные закономерности, связанные с хранением, передачей и обработкой информации.

Задачами теории информации являются:

1. Установление меры количества информации.

2. Определение наивысшей скорости передачи информации по каналу при заданных условиях (пропускная способность канала).

3. Определение наилучших условий кодирования, обеспечивающих скорость передачи близкой к пропускной способности канала.

7.1. Информационные характеристики источников сообщений

7.1.1. Определение количества информации

Модели, используемые в теории информации

Понятие информация тождественно понятию сведения или сообщения и ассоциирует с наличием по крайней мере двух взаимодейст­вующих систем А и В (рис.7.1), одна из которых А является источником информации (передатчиком), а вторая В является наблю­даемой системой (приемником). Вне указанной схемы понятие «информация» те­ряет смысл.

Сообщение — это то, что можно сообщить, а сообщить можно только состояние системы. Следовательно, сообщение — это состояние системы.

Любая система описывается совокупностью физических величин, которые могут зависеть от параметров. Состояния системы — это значения физической величины или парамет­ра (изображение, звук, текст и т.д.), которые ее описывают. Например, имеется передатчик, вырабатывающий аналоговый сигнал, фрагмент реализации которого представлен на рис.7.2. Данный сигнал подвергается дискретизации по времени и квантованию по уровню. Разрешенные уровни как раз и являются состояниями источника.

Для данного примера количество возможных состояний источника равно четырем.

В качестве другого примера можно привести источник, вырабатывающий текст, состоящий из букв какого-либо языка. Буквы данного языка вместе с разделительными знаками и пробелом будут являться возможными состояниями для данного источника.

Система случайным образом с некоторой вероятностью может оказаться в том или другом состоянии (передатчик приходит в состояние, которое соответствует передаваемому символу). Следовательно, множество состояний системы можно рассматривать как множество случайных событий. Две системы будем называть статистически зависимыми, если состояние одной из них влияет на вероятность состояния другой.

Множества состояний Х и Y, соответственно систем А и В, в зависимости от того, в каком отношении они рассматри­ваются, можно интерпретировать как множества состояний, сообщений и событий.

Два множества Х и Y с заданным на них двумерным рас­пределением пред­ставляют собой модель двух взаимодействующих систем. Эта модель лежит в основе построения статистической теории информации.

Сигнал — это материальный переносчик информации в пространстве и во времени.

Сигналы могут быть динамическими и статическими. Динамические сигналы предназначены для передачи информации в пространстве (электромагнитная волна). Статические сигналы (запоминающие устройства) предназначены для передачи информации во времени (например, компакт-диск). Точнее, сигналом является не сам материальный переносчик информации, а его состояние. Поэтому целесообразно конкретизировать опреде­ление сигнала.

Сигнал — это значение физической величи­ны, которое отображает состояние источника сообщений. Поскольку множество сообщений можно рассматривать как множество случайных событий, то отображающее значение физической величины также будет случайным.

Следовательно, случайную величину можно принять в качестве модели сигнала. В общем случае состояние системы (передаваемое сообщение) изменяется во времени, поэтому указанная случайная величина также будет изменяться во времени, зависеть от времени. Случайная величина, завися­щая от времени (некоторого параметра), называется слу­чайным процессом. Следовательно, случайный процесс является моделью сигнала.

В соответствии с решением вопроса установления меры количества и качества информации в теории информации выделяют три основные направления: структурное, статистическое и семантическое.

Структурная теория рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных символов; применяется для оценки предельных возможностей информационных систем вне зависимости от условий их применения.

Статистическая теория оперирует понятием «энтропия» как мерой неопределенности или неожиданности, учитывающей вероятность, а, следовательно, информативность сообщений; применяется для оценки информационных систем в конкретных условиях их применения.

Семантическая теория учитывает целесообразность, ценность, полезность или существенность информации; применяется для оценки эффективности логического опыта.

Остановимся на рассмотрении мер информации в первых двух теориях.

Комбинаторное определение количества информации

Среди структурных мер наиболее распространенной является мера Хартли, впервые выдвинутая им в 1928 г., в виде комбинаторного определения количества информации. Это определение предполагает модель с детерминированной связью (помехи отсутствуют) между дискретными состояниями двух систем без их вероятностного описания.

До получения сведений о состоянии системы имеется ап­риорная неопределенность ее состояния. Сведения позволяют снять эту неопределенность, то есть определить состояние системы. Поэтому количество информации можно определить как меру снятой неопределенности, которая растет с ростом числа состояний системы.

Количественная мера информации устанавливается сле­дующими аксиомами.

Аксиома 1. Количество информации, необходимое для снятия неопределенности состояния системы, представляет собой монотонно возрастающую функцию числа состояний системы.

В качестве количественной меры информации можно вы­брать непосредственно число состояний системы N_x, которое является единственной характеристикой множества X.

Однако такое определение не удобно с точки зрения его практического применения. Поэтому в теории информации вводится несколько иная количественная мера информации, которая является функцией N_х. Вид указанной функции по­зволяет установить аксиома 2.

Аксиома 2. Неопределенность состояния сложной системы, состоящей из двух подсистем, равна сумме неопределен­ностей подсистем.

К количественной мере информации естественно выдвинуть следующие требования:

1. Количество информации в сообщении о достоверном событии равно нулю.

2. Количество информации, содержащееся в двух независимых сообщениях, должно равняться сумме количества информации в каждом из них, то есть мера информации должна быть аддитивной величиной.

3. Количество информации не должно зависеть от качественного содержания сообщения. То есть от степени важности или полезности для получателя.

В соответствии с требованием 2, если для снятия неопределенности первой подсистемы необходимо количество информации, равное , а для второй подсистемы количество информации, равное , то для снятия неопределенности сложной системы необходи­мо количество информации, равное