§1. 7. Избыточность информации

Энтропия источника сообщений, как было показано К. Шенноном принимает максимальное значение Н_max, если его состояния равновероятны. Однако в реальных системах это условие не выполняется и Н < Н_max. Применительно к передаче сообщений ус­ловие H < H_max означает, что сообщения реального источни­ка могли бы нести большее количество информации. Например, можно вычислить, что максимальная энтропия русского алфавита (33 буквы) H_max = log₂33 ≈ 5 бит/символ, а исходя из статистических данных по текстам - H = 4,35 бит/символ. В английском языке, с 26 буквами и одним пробелом, H_max = log₂27 = 4.76 бит/символ. Конечно же, реальная энтропия английского языка много меньше абсолютной интенсивности – английский чрезвычайно избыточен. В реальном английском языке буквы не равновероятны (например, буква E встречается с большей вероятностью, чем Q). Используя относительные частоты различных букв для вычисления энтропии, мы получили бы оценку около 4,03 бита на символ.

Можно определить абсолютную недогрузку источника как , бит/символ. В случае D_abs > 0 энтропия H передаваемого реального cобщения меньше максимально возможного ее значения. Следовательно, до проведения опыта у экспериментатора есть сведения об этом сообщении, то есть имеется некоторое количество априорной информации. Поэтому величину D_abs называют абсолютной избыточностью информации, которая применительно к языку показывает недогруженность источника информации в среднем на один символ алфавита.

Для оценки свойств источников сообщений нередко пользуют­ся понятием относительной информацион­ной избыточности, которая является безразмерной величиной и определяется по формуле:

. (25)

При описании источника информации совместно с каналом связи относительная избыточность определяется соотношением , где С - пропускная способность канала; Н - поток информации. Из этого следует, что при D > 0 принципиально возможна безошибочная передача информации по каналу, поскольку выполняется условие H < C.

На избыточность информации можно посмотреть по-иному, а именно: исследование сообщений текстов телеграмм, кодов и т. д. показало, что все они обладают избыточной информацией, которую можно и не передавать по каналам связи. Но то, что избыточно для каналов связи, вовсе не лишнее для самого языка. Именно избыточная информация, накапливаемая в совокупности всех грамматических и фонетических правил и сделала язык языком. Наличие избыточности в сообщении повышает его помехоустойчивость, а также позволяет восстанавливать исходное сообщение при значительных искажениях в канале связи. В случае необходимости повысить помехоустойчивость сообщений, избыточность полезна и ее специально вводят в сообщение. Если помехи малы, то из-за перегрузки канала связи избыточность вредна, и ее стремятся исключить или уменьшить.

§2. Теория информации в оптике

Применение понятий теории информации для описания оптиче­ских и оптико-электронных систем (ОЭС) позволяет с единых позиций анализировать прохождение сигналов в оптических системах раз­личных типов, начиная с пространства изображений и кончая электронными каналами ОЭС. Единообразный подход обеспечивает объективное количественное сопоставление оптических систем различных типов, анализ и оптимизацию их параметров, определяющих качество изображений (сигналов) оптическими и оптико-электрон­ными системами. Кроме того, перенос понятий теории информации в такие, казалось бы, чисто оптические области, как например, разрешение оптических систем, позволяет установить инварианты, описывающие процесс формирования изображения, и определить ус­ловия, обеспечивающие получения пространственного разрешения, превосходящего классический предел, определяемый дифракцией световых волн на апертурной диафрагме.

Однако, следует отметить, что описывая процесс прохождения и обработки сигналов, теория информации не дает ответа на воп­рос: как технически реализовать рассматриваемый алгоритм обра­ботки сигналов. В связи с этим, при изучении информационных понятий в конкретных оптических системах необходимо иметь ясное проставление о принципах их работы и создания, то есть изучение данного раздела предполагает предварительное знаком­ство с дисциплинами по оптике и оптическим системам. При переносе понятий теории информации в оптику появляет­ся ряд новых закономерностей, что обусловлено четырехмерным характером оптических полей, изменяющихся в пространстве и во времени. Действитель­но, многомерность сигналов позволяет реализовать системы обработки информации одновременно по многим независи­мым каналам, а также создать системы хранения информации с плотностью до 1 Тбит/см³. Кроме того, оптические сигналы распро­страняются с предельной достижимей скоростью c = 3∙10¹⁰см/с, что обеспечивает максимально возможное быстродействие процес­са получения и обработки информации.

Целью настоящей главы является формирование основных поня­тий и соотношений, описывающих оптические поля и системы с ин­формационных позиций, а также рассмотрение в качестве примеров некоторых оптических систем записи и обработки информации.