Лекция 4

CКОРОСТЬ СОЗДАНИЯ СООБЩЕНИЙ ДЛЯ НЕПРЕРЫВНОГО ИСТОЧНИКА

Функция оценки точности воспроизведения

В случае дискретного источника сообщений было можно установить опреде - лённую скорость создания сообщений, а именно энтропию соответствующего вероятностного процесса. Для непрерыв-

2. Частотно – взвешенный средне – квадратический критерий. Можно

приписать различные веса разным частотным компонентам сигнала.

В отечественной литературе ,как правило, вместо Q вводится переменная σ_ξ² ,

а вместо N – ε² . Тогда Rε ≤ W₁log σ_ξ²/ ε²= 2W₁log σ_ξ/ ε = log σ_ξ/ ε . (6.3 )

τ

Отсчётные сообщения.

Верность воспроизведения сообщений

Рассмотрим примеры вычисления Н_ε (ξ) отсчётных сообщений.

1. Определим ε – энтропию отсчётного значения с плотностью вероятности p(ξ) = 1/2a при абсолютном критерии верности ∆= | ξ - ξ’| ≤ ε.

I(ξ, ξ’) = h(ξ) – h _ξ’ (ξ) . Н _ε (ξ) = min (h(ξ) – h _ξ’ (ξ)) = h(ξ) – max h _ξ’ (ξ) =

log2a – max (– ∫p( ξ’) ∙ ∫p _ξ’ (ξ) ∙log p _ξ’ (ξ) ∙dξ∙dξ’) = …..

Критерий | ξ - ξ’| ≤ ε удовлетворяется, если p _ξ’ (ξ) отлична от 0 на интервале (ξ’- ε, ξ’+ ε). Пусть ξ = ∆ + ξ’, где ∆ - ошибка отсчёта.

Модуль якобиана преобразования |I(x/y)| = |dξ/d∆|= 1.

……= log2a – max(– ∫ p( ξ’) ∙ dξ’ ∙ ∫ p _ξ’ (∆)∙log p _ξ’ (∆)∙d∆).

Но max h _ξ’ (x) при заданном интервале достигается при равномерном распреде - лении p(∆) = 1/2ε. Тогда

Н _ε (ξ) = log2a – log2ε = log a/ε ( 6.5 )

C увеличением требований к точности воспроизведения (с уменьшением ε), или с увеличением диапазона изменений случайной величины ξ Н _ε (ξ) увеличивается.

Для непрерывного сообщения ε = 0 и Н _ε (ξ) = ∞.

2. . Определим ε – энтропию отсчётного значения с гауссовской плотностью вероятности p(ξ), с дисперсией σ_ξ² при среднеквадратическом критерии точности M(ξ - ξ’)² ≤ ε². ξ’ – детерминированная величина, т.к. она известна.

Н _ε (ξ) = h(ξ) – max h _ξ’ (ξ) = log (σ_ξ∙ √2πe) – max h _ξ’ (ξ).

max h _ξ’ (ξ) = max(– ∫p( ξ’) ∙ ∫p _ξ’ (ξ) ∙log p _ξ’ (ξ) ∙dξ∙dξ’) =………

Пусть ξ =∆+ ξ’, где ∆ - ошибка отсчёта, M(∆²) = ε². Появление ошибки ∆ обусловлено ограничением функции времени f(t) по полосе частот от 0 до W Гц. Модуль якобиана преобразования |I(x/y)| = |dξ/d∆| = 1. Из всех случайных величин ∆ с заданной σ_∆² наибольшую энтропию имеет гауссовская случайная величина.Тогда

…….max(–∫p( ξ’) ∙ dξ’∫p _ξ’ (∆)∙log p _ξ’ (∆) ∙d∆)= log (ε∙ √2πe).

Н _ε (ξ) = log (σ_ξ∙√2πe) – log (ε∙√2πe) = log (σ_ξ/ ε). ( 6.6 )

Пусть σ_ξ² = ε², тогда Н _ε (ξ) = 0. Ничего передавать не нужно. Действительно, если вместо ξ воспроизводить Mξ (известную константу), то M(ξ -Mξ)² = σ_ξ² = ε² ,

т.е. требуемая “верность” удовлетворяется.

При σ_ξ² ≤ ε² Н _ε (ξ) = 0, так как воспроизведение Mξ удовлетворяет условию M(ξ - ξ’)² ≤ ε². Таким образом, Н _ε (ξ)≥ 0.

Из экстремального свойства гауссовского распределения следует, что для произвольной случайной величины ξ с дисперсией σ_ξ² при критерии верности M(ξ – ξ’)² ≤ ε² имеем верхнюю оценку на один элемент (отсчёт)

Н _ε (ξ) = h(ξ) – log (ε∙√2πe) ≤ log (σ_ξ/ ε). (6.7 )

Выражения ( 6.5 ) и ( 6.6 показывают, что ε – энтропия возрастает с уменьшением ε: чем требовательнее получатель, тем больше нужно передавать

ему информации. С другой стороны, Н_ε тем больше, чем больше диапазон изменения ξ (по сравнению с ε ).

Поэлементное квантование с интервалами квантования (в – а) = √12∙ D, где D – дисперсия ошибки квантования, даёт Н_ε* = h(ξ) – log(√12∙ D).

В итоге поэлементное квантование отсчётного значения со среднеквадратиче - ским критерием точности воспроизведения добавляет избыток

Н_ε* – Н _ε (ξ) = – log(√12∙ D) + log (ε∙√2πe) = log ε/√D + 0,25 дв.ед./элемент.

Когда Н _ε (ξ) велико, этим избытком можно пренебречь. Однако при небольшом Н _ε (ξ) поэлементное квантование может быть невыгодным. Тем более может быть невыгодным поэлементное квантование при других критериях.

Более совершенный способ квантования – это обобщённое квантование.

Cогласно выражению (5.11) лекции 5

I(ξ, ξ’) = 1 . ·∫ log 1 . ·dω дв.eд./cек. , (6.9 )

2 π √(1– r²(ω))

ограниченным спектром , не оговаривая величины требуемой верности.

Формула ( 3.22 ) справедлива только для нормального процесса ξ t ). В общем случае непрерывного сообщения скорость создания сообщения вычислить не удаётся.

11