Д. В. Ломакин прикладная теория информации

Конспект лекций

Предисловие

Конспект лекций предназначен для самостоятельной работы студентов третьего курса специальности «Автомати­зированные системы обработки информации и управления» дневной формы обучения, а также для студентов специаль­ности «Радиотехника» при изучении курса радиотехни­ческих систем передачи информации.

Цель конспекта — помочь студентам усвоить основные понятия теории информации и научить их применять инфор­мационные методы решения прикладных задач.

Авторы стремились кратко и в доступной для студентов форме изложить становление и физические основы статисти­ческой информации, используя при этом по возможности простой математический аппарат.

К сожалению, ограниченный объем работы не позволил изложить интересные и важные вопросы передачи непрерыв­ных сообщений и помехоустойчивого кодирования.

1. Модели, используемые в статистической теории информации

В основе любой теории лежит соответствующая модель подлежащей изучению части реального мира. Область при­менения результатов’ теории ограничена областью примене­ния принятой модели. Мы рассмотрим модель, которая лежит в основе статистической теории информации [1, 2]. Сущест­вуют и другие модели, на основе которых строятся невероят­ностные теории информации. Однако в настоящей работе они рассматриваться не будут, за исключением прагматической (ценностной) теории информации, которая может быть по­строена в рамках статистической теории информации.

Понятие информация тождественно понятию сведения и ассоциирует с наличием по крайней мере двух взаимодейст­вующих систем А и В, одна из которых В является наблю­даемой системой (приемником), а вторая А—источником информации. Вне указанной схемы понятие информация те­ряет смысл.

Любая система описывается совокупностью физических величин, которые могут зависеть от параметров. Состояния системы — это значения физической величины или парамет­ра, которые ее описывают. Если эти значения дискретны, то система называется дискретной , а если непрерывны, то система называется системой с непрерывным множеством состояний .

Сообщение — это то, что можно сообщить, а сообщить можно только состояние системы. Следовательно, сообщение — это состояние системы.

Система случайным образом с некоторой вероятностью может оказаться в том или другом состоянии (передатчик приходит в состояние, которое соответствует передаваемой букве). Следовательно, множество состояний системы можно рассматривать как множество случайных событий. Две системы будем называть статистически зависимыми,если состояние одной из них влияет на вероятность состояния другой.

Множества состояний Х и Y соответственно систем А и В в зависимости от того, в каком отношении они рассматри­ваются, можно интерпретировать как множества состояний, сообщений и событий.

Два множества Х и Y с заданным на них двумерным рас­пределением пред­ставляют собой модель двух взаимодействующих систем. Эта модель лежит в основе построения статистической теории информации.

Сигнал — это материальный переносчик информации в пространстве и во времени.

Сигналы могут быть динамическими и статическими. Динамические сигналы предназначены для передачи информации в пространстве (электромагнитная волна). Статические сигналы (запоминающие устройства) предназначены для передачи информации во времени (маг­нитная лента, книга, кинофильм и т. д.). Точнее, сигналом является не сам материальный переносчик информации, а его состояние. Поэтому целесообразно конкретизировать опреде­ление сигнала. Сигнал — это значение физической величи­ны, которое отображает состояние источника сообщений. Поскольку множество сообщений можно рассматривать как множество случайных событий, то отображающее значение физической величины также будет случайным.

Следовательно, случайную величину можно принять в качестве модели сигнала. В общем случае состояние системны (передаваемое сообщение) изменяется во времени, поэтому указанная случайная величина также будет изменяться во времени, зависеть от времени. Случайная величина, завися­щая от времени (некоторого параметра), называется слу­чайной функцией . Следовательно, случайная функция является моделью сигнала.