1.2. Энтропия источников непрерывных сообщений.

В отличие от дискретных сообщений, образованных счетным множеством элементов (символов a_i), символы алфавита непрерывных сообщений пронумеровать нельзя. Вер-ть каждого отдельного значения непрерыв. сообщ. ≠ 0, а распределение вер-ти характеризуются плотностью W(a).

Рассматривая энтропию непрерывных сообщений как мат-ожид. непрерывной С.В. и по аналогии с (4.3).

(4.7)

Дифференциальная энтропия не имеет абсолютного хар-ра, зависит от масштаба и  не может служить мерой неопределенности источ. сообщ., даже способна принимать отрицательные значения.

играет важную роль при рассмотрении инф. хар-к с-м передачи, т.к. здесь имеют место разность энтропий.

а) При заданной средней мощности (дисперсии)максимальной энтропией обладают сообщения с нармальным з-ном распределения; б) Если задана пиковая мощность, то max энтропией обладают сообщения с равновероятным з-ном распред.

а) σ₂ = const

v ar-з-ны распределения

нормальный з-н распределения

б ) пиковая мощность = const var-з-ны распределения.

Равновероятный з-н распределения

Вопрос 2.

Информационное описание каналов связи.

Практически не существует с.м передачи без помех  Нет однозначности между символами и количеством инф. на вх. и вых. канала связи.

Обозначим

b₁, b₂, …, b_i, …, b_mk – символы на вх. канала; p(b_i) (априорные вероятности – до опасности).

b₁*, b₂*, …, b_j*, …, b_mk* – символы на вх. канала; p(b_j*)

В общем случае m_k ≠ m’_k. Например m_k = m_k+1 (добавляется символ «стирание»).

Нет однозначности  символ b_i с различной вер-тью может перейти в любой символ b_j* и наоборот, принятый символ b_j* может появиться в результате отправления любого из символов b_i, .

С

p(b₁/b_j*) – апостериорная (после опыта) вер-ть передачи b_i, если уже принят b_j*.

В принциме можно вычислить инф. потери для каждого конкретного символа, но больше интересуются обобщенной характеристикой – среднее кол-во инф. приходящейся на 1 символ.

лучай 1. Описание со стороны приемника.

b _mk p(b_mk/b_j*)

p(b_i/b_j*)

b_i

p(b₁/b_j*)

b

Рис. Неопределенность в дискретном канале с поме­хами (описание со стороны приемника)

₁



Энтропия характеризует ср. кол-во инф. при условии, что уже стали известны принимаемые символы.

Ср. кол-во инф. посылаемое в канал с каждым символом:

J(B,B*)=H(B) – H(B/B*)

прием передача потеря

Взаимная инф. между мн-вами В и В*, ср. кол-во инф., которое может принести получателю один символ в канале с помехами; ср. кол-во инф. содержащейся в символе мн-ва В* относительно символа мн-во В

Н(В) – ср. на символ кол-во инф. посланной в канал.

J(B,B*) – ср. на символ кол-во инф. принятой.

H(B/B*) – ср. на символ кол-во инф. потерянной в канале

(надежность канала)

0 ≤ H(B/B*) ≤ H(B)

Сильные помехи или обрыв связи – Знание b*(t) не уменьшает неопределенности b(t), т.е. b*(t) не содержат никакой инф. о b(t).

Помехи отсутствуют и b*(t) сожержит полную инф. о b(t), т.е. можно точно устано­ить последова­ель­ость передан­ых символов

Пример 4.4

Случай 2 Описание со стороны передатчика.

(b_m’k/b_i) b_m’k*

b_i p(b_j*/b_i) b_j*

p(b_j*/b_i)

b₁*

Рис. Неопределенность в дискретном канале с помехами (описание со стороны передатчика)

p(b_j*) – вер-ть того, что будет получен символ b_j*, если уже передан b_i.

p(b_j*) =

H(B*) = – - здесь часть инф. полезной (правильной) созданной b_i, а часть ложной, созданной помехами в канале связи.

H(B*/B) = -

ср. инф., приходящаяся на 1 символ, содержащая b последовательных вых. символов b*(t) при известной последовательности вх. символов b(t)  инфопомех  энтропия шума

J(B,B*) = H(B*) – H(B*/B) (4.9)

правильная шум

(плезная)

Пример 4.5.

Формулы (4.8) и (4.9) наглядно иллюстрируются рис.

передача Н(В) J(B, B*) (прием) H(B*) привильная (полезная)

H(B,B*) H(B*/B)

(потеря) (энтропия шума)

Каждый из наборов p(b_i), p(b_j*/b_i) и p(b_j*), p(b_i/b_j*) явл. информационно полным, т.к. с помощью любого из них путем алгебраического преобразования можно получить все др. инф. хар-ки канала.

Для непрерывного канала

Если канал имеет ограниченную полосу пропускания F, то с-лы B(t) на его вх. и с-лы B*(t) на его вых. в соответствии с теоремой Котельникова определяются своими отсчетами, взятыми через интервал Δt = 1/2F. Такая замена позволяет описать ср. кол-во инф., содержащейся в одном вых. отчете, относительно одного вх. отсчета, соотношениями аналогичными (4.8), (4.9).

J(B,B*) = h(B) – h(B/B*) = h(B*) – h(B*/B).