4. Информация как случайный процесс. Энтропия сообщения.

Пусть ожидается наступление события, исход которого заранее не известен. Можно сказать, что существует некоторая неопределенность H, зависящая от числа n возможных исходов. Когда событие наступает, неопределенность снимается, и мы получаем информацию I о его фактическом исходе.

Например, бросается игральная кость (n = 6), или монета (n = 2), поступает очередной символ сообщения из алфавита объемом n.

В общем случае после наступления события некоторая неопределенность может сохраниться (например, издалека трудно различить, выпало на кости 4 или 6)

Количество полученной информации в этом случае очевидно равняется разнице величин неопределенности до опыта (априорной) Н_pr и после опыта (апостериорной) Н_ps

I = Нpr – Нps

Если исход опыта известен однозначно (Н_ps=0), то I=Н_pr.

Количество возможных исходов в результате l опытов (поступления l символов сообщения) составляет:

Q = n^l .

Например, в результате двух бросаний игральных костей, возможны 6² = 36 исходов.

Удобно задать функцию Н таким образом, чтобы она была пропорциональной количеству опытов (например, неопределенность при трех бросаниях костей втрое больше, чем одной). Такое свойство называют аддитивностью. Ему отвечает логарифмическая функция:

. (3.5)

При l =1 (одно событие или один символ сообщения, несущий информацию) получим:

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Важно оценить среднюю информативность одного события (или символа сообщения) с точки зрения устранения неопределенности при ожидании события а_i. Суммируя информацию от появления каждого исхода а_i (i= 1, 2, …., n), с учетом соответствующих вероятностей их появления p_i, получим, в соответствии с (3.2), формулу для оценки неопределенности, связанной с ожиданием события:

. (3.6)

Эту величину называют энтропией, или мерой неопределенности исхода события.

Свойства энтропии дискретных сообщений

Выражение (3.6) выражает усреднённую энтропию дискретных сообщений. Она обладает следующими свойствами:

она не отрицательна, так как вероятность появления случайного события всегда меньше 1 и, следовательно, величина отрицательна;

она достигает максимума при одинаковых вероятностях исходов ( ). В этом случае ;

для детерминированных сообщений она равна нулю p_i=1 и p_j≠i=0 =0.

5. Сигналы и сообщения. Сигнал как процесс. Статистические методы описания сигналов.

Сигналы и сообщения.

Передача информации происходит в виде передачи сообщений (набор символов, цифровых данных, звуков, изображений).

Сигнал (от лат. signum – знак) – физический процесс, несущий информацию и изменяющийся во времени и пространстве.

Сигналы бывают электрические, радиоволны, звуковые, световые и др. В радиотехнике сигнал – это электрические поля, изменяющиеся во времени. Транспорт информации (сигналов) осуществляется по каналам связи.

Виды сигналов

Сигналы разделяются по видам представления в канале связи, по возможному типу математического представления, по виду после преобразования, по физическому виду передачи информации.

А. Виды сигналов в канале связи:

аналоговый – периодический (с амплитудной, частотной или фазовой модуляцией).

дискретный - импульсный или квазипериодический (с амплитудно-импульсной, частотно-импульсной или широтно-импульсной модуляцией).

цифровой - в виде двоичных цифровых кодов.

Б. Математические модели сигналов:

детерминированные (периодические)

гармонические - простые

полигармонические – сложные

переходные

квазипериодические

случайные

В. Виды преобразованных сигналов:

модулированные (АМ, ЧМ, ФМ),

демодулированные,

усиленные,

задержанные,

дискретизированные (разбитые по времени),

квантованные (квантированные).

Г. Физические виды передачи информационных сигналов:

телефонные,

телеграфные,

радиовещательные,

TV,

радиолокационные,

управляющие,

измерительные.

Сигнал как процесс.

У каждого, кто имеет отношение к изучению наблюдаемых свойств физических систем, возникает необходимость выбрать подходящий способ для количественного описания, обработки, представления и классификации изменения физических величин во времени, которые называются процессами. При передаче информации мы также имеем дело с процессами, которые называют сигналами. Если рас­сматривать процессы сами по себе, абстрагируясь в той или иной мере от систем, в которых они возникают, мы сталкиваемся с необъятным многообразием возможных их отображений и классификаций, причем успешность применения того или иного способа зависит главным обра­зом от того, как наблюдатель намеревается использовать информацию, содержащуюся в процессе. Математический аппарат функционального анализа позволяет провести достаточно полное и универсальное ис­следование таких способов. Математически корректный подход позволяет получить универсальные методы описания процессов в разных областях науки и техники.

Статистические методы описания сигналов.