5.5.2.4 Ε-ентропія безперервного джерела повідомлень

Іноді уводиться міра інформативності (непередбачуваності) безперервного джерела , яка називається ε-ентропією. Епсілон-ентропія H_ε{S) визначається як мінімальна кількість інформації, що втримується в Z(t)=S(t)+E(t) щодо сигналу S(t), при якому Z(t) і S(t) еквівалентні. Еквівалентність приймається як близькість у среднеквадратическом сенсі:

–припустиме значення середнього квадрата шуму спостереження.

Отже, по визначенню

,

де мінімум береться по всіх умовних розподілах w(s|z), для яких .Тому що S(t)=Z(t)-E(t), то умовна диференціальна ентропія h(S|Z) при заданому сигналі z(t) повністю визначається шумом відтворення Е(t).

Якщо шум відтворення має фіксовану дисперсію , то диференціальна ентропіяh(E) максимальна, як було показано вище, при гауссовском розподілі й дорівнює .

Якщо джерело S(t) є гауссовским, то при заданій дисперсії йогодиффереціальна ентропія . Таким чином, у розглянутому випадку.

Величина характеризує мінімальневідношення сигнал-шум, при якому сигнал S(t) і процес Z(t) ще еквівалентні («схожі»). Позначимо це відношення , тоді. Можнаввести поняття ε-продуктивність безперервного джерела

,

де v_дж – число відліків в одиницю часу. Для ε-продуктивності безперервного гауссовского джерела безперервного часу без пам'яті

,

де – смуга частот сигналу, у межах якої СЩП процесу S(t) вважається рівномірною.

5.6 Теорема кодування для безперервного каналу зв'язку

Нехай є деякий безперервний канал зв'язку, для якого в п.п. 5.5.1 визначені поняття Т-кода й вирішальної схеми. Тоді можна сформулювати наступну теорему кодування для безперервного каналу, що є аналогом теореми кодування для дискретного каналу з завадами.

5.6.1 Теорема про кодування в безперервному каналі з завадами

Якщо безперервний канал має пропускну спроможність і задані будь-які числа δ > 0 і Н' < , то завжди найдеться таке Т₀, що при всякому Т > T₀ існує Т-код, що складається із сигналів, і вирішальна схема, які забезпечують виконаннянерівностей

. (5.81)

Якщо Н' > , то нерівність (5.81) не виконується, як би не було велике значення T₀.

Інтерпретація даної теореми мало відрізняється від інтерпретації відповідної теореми для дискретного каналу. Дійсно, якщо ми маємо деяке двійкове джерело інформації, то блоки довжини п даного джерела можна погодити з Т-кодом без затримок у часі при виконанні наступних умов

, nT_дж=Т, (5.82)

де Т_дж – тривалість символів джерела. Перетворюємо (5.82) та одержуємо необхідні й достатні умови зменшення помилки до нуля при кодуванні в безперервному каналі зв'язку у виразі

. (5.83)

Бачимо, що ця умова відрізняється від умови (5.48), яка отримана для кодування в дискретному каналі, тільки тим, що пропускна спроможність дискретного каналу заміняється на пропускну спроможність безперервного каналу.

Оскільки, як ми вже відзначали раніше, безперервний канал завжди має більшу пропускну спроможність, чим будь-який відображуючий його дискретний канал, то кодування в безперервному каналі забезпечує завжди більшу інформаційну швидкість передачі, чим у дискретному. Це властивість цілком очевидна, тому що кодування й декодування в безперервному каналі є більш загальними процедурами, чим у дискретному.

Безперервний канал зв'язку з нескінченною смугою пропущення, для якого пропускна спроможність визначається вираженням (5.80), є достатньою умовою для зменшення ймовірності помилки до нуля при використанні ортогональних сигналів [39]. Тому необхідна й достатня умова забезпечення високої надійності передачі в такому каналі в дійсності буде мати вигляд

. (5.84)

Для безперервного каналу залишається справедливої також й основна теорема Шеннона, якщо в ній розуміти під пропускнуспроможність безперервного каналу.

Для каналу із пропускною спроможністю , на вхід якого підключено безперервне джерело зε-продуктивністю H'_ε(S), К. Шеннон довів наступну теорему [50]: якщо при заданому критерії еквівалентності повідомлень джерела ε²₀ його ε-продуктивність H'_ε(S) менше пропускної спроможності каналу , то існує спосіб кодування й декодування (перетворення повідомлення в канальний сигнал і назад — канального сигналу в повідомлення), при якому неточність відтворення як завгодно близька до ε²₀^. При H'_ε(S)> такого способу не існує.

Для гауссовского безперервного каналу першу частину теореми можна записати у вигляді

,

де – відношення сигнал-завада в каналі. При гауссовском джерелі умова «неспотвореної передачі» у гауссовском каналі можна записати як

або при

. (5.85)

Умножаючи ліву й праву частину (5.85) на Т, одержуємо нерівність

, (5.86)

де – інформаційний об’єм сигналу; – інформаційний об’єм каналу. Нерівність (5.86) збігається з умовою неспотвореної передачі, вираженої в термінах фізичного обсягу сигналу й каналу [27].

Формула Шеннона (5.79) може бути використана для оцінки потенційних можливостей безперервного каналу зв'язку не тільки щодо його енергетики, але й займаного їм спектра.

Дійсно, використаємо два найважливіших показники системи зв'язку: енергетичний параметр і частотна ефективність.

Відповідно до теореми Шеннона, приймаючи при оптимальному узгодженні дискретного джерела й безперервного гауссовского каналу , з (5.79) маємо

або . (5.87)

На рисунку 5.6 побудована виражена в децибелах залежність енергетичної ефективності якфункція від γ ( -номограма), що відповідає (5.87).

Рисунок 5.6 – Криві енергетичної та частотної ефективності цифрових систем зв’язку

Неможливо побудувати систему зв'язку, що мала б пари чисел , що лежить вище зазначеної кривої на рис. 5.6. При γ = 1 одержуємо (0дБ), а при , тобто коли на смугу частот каналу не накладається ніяких обмежень,. У той же час при, як видно з (5.87),

~~,

т.е. мінімально необхідна бітова енергія експоненціально зростає при зростанні спектральної ефективності.

Якщо говорити про реальні системи зв'язку, то, використовуючи, наприклад, т-ічні ортогональні сигнали (ЧМ) для т = 8, 16, 32, можна одержати при ймовірності помилки на біт р_ь = 10^-5 -номограми, що відповідають точкам, зазначеним на рис. 5.6 (γ < 0 дб). Щоб у цій області наблизитися до граничної кривої, необхідно використати завадостійке кодування, що описано в 6 главі.

Що ж стосується області -номограм при γ > 0 і поблизу граничної кривої, то вона виявляється досить важко досяжної для реальних систем зв'язку. Навіть для того, щоб одержати (2-4) і (10-12) [дБ], доводиться використовувати комбіновані методи багаторазової фазової й амплітудної модуляції. Подальше ж наближення до граничної кривої в даній області можливо тільки при сполученні кодування й модуляції, тобто в так званих системах зв'язку з кодованою модуляцією.