5.5.2.2 Умовна диференціальна ентропія

Величина h(S), яка обумовлена (5.66), називається диференціальною ентропією. Вона збігається з першим доданком в (5.64). Другий доданок називаєте умовною диференціальною ентропією й позначається h(S|Z). Тому кількість інформації, яка передана по безперервному каналі, дорівнює різниці цих диференціальних ентропій:

I(S,Z)=h(S)–h(S|Z)=h(Z)–h(Z|S), (5.67)

причому остання рівність в (5.67) витікає з властивості 2 кількості інформації, де h(Z) і h(Z|S) – диференціальна ентропія виходу каналу й диференціальна умовна ентропія виходу при відомому вході відповідно.

Розглянемо окремий випадок безперервного по амплітуді каналу з дискретним часом – каналу з аддитивным безперервним шумом, для якого

z=s+п, (5.68)

де s – реалізація випадкової величини S, п – реалізація випадкової величини N, що не залежить від S. Використовуючи (5.67), легко показати, що для розглянутого каналу

I(S,Z)=h(Z)–h(N), (5.69)

де h(N) – диференціальна ентропія аддитивной завади. Знайдемо диференціальну ентропію гауссовского аддитивного шуму з нульовим середнім і дисперсією із виразу

(5.70)

Диференціальна ентропія довільної випадкової величини N із заданою дисперсією не може перевершувати диференціальної ентропії гауссовской випадкової величини з тією же дисперсією, тобто

(5.71)

Для доказу розглянемо інтеграл

Отже,

(5.72)

Використаємо нерівність , причому точна рівність буде досягатися тільки прих=1. Звідси, переходячи до двійкових логарифмів, одержуємо .

Тому

, (5.73)

причому рівність має місце, якщо тільки

.

Підставляючи (5.73) в (5.72), одержуємо

звідки й витікає (5.71).

5.5.2.3 Пропускна спроможність безперервного каналу зв’язку

Раніше вже відзначалося, що на простір припустимих вхідних сигналів повинні бути накладені деякі обмеження. Розглянемо найбільш важливий окремий випадок, коли обмежена середня потужність (дисперсія) сигналу Р_с. Тоді для каналів без пам'яті з дискретним часом це обмеження вимагає використання тільки таких вхідних щільностей імовірностей w(s), для яких виконується умова

, (5.74)

де .

Будемо називати пропускною здатністю С такого каналу максимальне значення кількості інформації повсіх щільностях імовірності w(s), що задовольняють (5.74), тобто

, (5.75)

де W – множина щільностей імовірності, що задовольняють (5.74). Розрахуємо пропускну спроможність для каналу з дискретним часом і з аддитивным БГШ потужності Р_ш.

Використовуючи (5.69) і (5.70), одержуємо

. (5.76)

Для даного каналу дисперсія виходу дорівнює сумі дисперсій входу й аддитивного шуму, тобто

D{z)=D{s}+D{n}=Р_с+Р_ш.

Тому відповідно до доведеної вище властивості одержуємо, що диференціальна ентропія виходу h(Z) буде максимальна для гауссовского розподілу Z, а отже, і для гауссовского розподілу S і вона дорівнює правої частини (5.71), якщо Р_ш замінити на σ²_z=Р_с+Рш. Підставляючи це значення в (5.76), знаходимо, що

. (5.77)

Вираження (5.77) дає значення пропускної спроможності каналу, що має при двійковому логарифмі розмірність біт/відлік (імпульс). Якщо швидкість видачі відліків (імпульсів) у секунду дорівнює , то пропускнаспроможність в одиницю часу буде визначатися співвідношенням

. (5.78)

Отримане вираження дозволяє легко перейти до пропускної спроможності безперервного каналу з безперервним часом, у якого вхідні сигнали мають обмежену смугу частот F й обмежену середню потужність Р_с. Крім того, будемо припускати, що завадою в ньому є квазибелый шум зі спектральною щільністю N₀ у смузі частот F, тобто гауссовский шум з рівномірним спектром і середньою потужністю Р_ш=N₀F.

Оскільки корисні сигнали обмежені смугою частот F, те на виході такого каналу зв'язку можна поставити ідеальний фільтр, що пропускає тільки частоти в цій смузі, не втративши при цьому ніякій інформації. По теоремі відліків Котельникова [29] сигнали на вході й виході такого каналу будуть повністю визначатися відліковими значеннями в точках t_к=kΔ, де Δ=1/2F. Отже, вся інформація, яка передається по такому каналу, буде втримуватися в цих відлікових значеннях.

Оскільки енергетичний спектр завади на виході рівномірний у смузі частот F, то відліки завади виявляються статистично незалежними й завдання зводиться до розрахунку пропускної спроможності безперервного каналу без пам'яті з дискретним часом. Використовуючи отримане для цього співвідношення (5.78) при , знаходимо

. (5.79)

Співвідношення (5.79) відомо як формула Шеннона для пропускної спроможності безперервного гауссовского каналу з обмеженою смугою частот й обмеженою середньою потужністю сигналу.

Проведемо аналіз формули Шеннона (5.79). Якщо F=const, a Р_с/Р_ш зростає, то, як видно із цього співвідношення, буде також зростати, але її ріст виявляється досить повільним, тому що він підкоряється логарифмічному закону. Тому якщо, наприклад, при смузі частот 100 Гц і відношенні =10³=30 дБ пропускна спроможність 1000 біт/з, а її потрібно збільшити приблизно у два рази при збереженні колишньої смуги частот 100 Гц, то цього можна досягти, лише збільшивши відношення сигнал/шум до 10⁶ = 60 дБ.

Розглянемо тепер залежність пропускної спроможності каналу від смуги частотF при фіксованих значеннях Р_с й N₀. Графік залежності нормованої пропускної спроможності C'₀/P_c від показаний на рисунку 5.5.(F), як витікає з (5.79) – це монотонно зростаюча функція, що при асимптотически наближається до величини

(5.80)

яка може бути названа пропускною здатністю безперервного каналу зв'язку з необмеженою смугою частот при аддитивной заваді у вигляді БГШ.

Таким чином, хоча з ростом смуги пропущення можливості безперервного каналу по передачі інформації збільшуються, однак у смузі пропущення не укладені необмежені можливості збільшення . (Уже при виборі смугиF = 3P_с/N₀ реалізується приблизно 86 % від , (див. рис. 5.5).)

Рисунок 5.5 – Залежність нормованої пропускної спроможності безперервного каналу із БГШ від смуги пропущення

Хоча визначення поняття пропускної спроможності для безперервного каналу зв'язку й дозволяє судити про його можливості по передачі інформації, але для того, щоб визначити ці можливості в більше конкретних термінах вірності й швидкості передачі, необхідно сформулювати теореми кодування Шеннона для безперервного каналу зв'язку. Однак перед цим визначимо ще одне поняття.