
- •Глава 5 інформаційні характеристики джерел повідомлень і каналів зв'язку
- •5.1 Загальні відомості про джерела повідомлень і канали зв'язку
- •5.2 Основні поняття теорії інформації
- •5.2.1 Часткова кількість інформації
- •5.2.2 Ентропія джерела повідомлень
- •5.3 Інформаційні характеристики дискретних каналів зв'язку
- •5.3.1 Кількість інформації, що передається по каналу зв'язку (взаємна інформація)
- •5.3.2 Пропускна спроможність дискретного каналу зв'язку
- •5.4 Теореми кодування шеннона для дискретного каналу зв'язку
- •5.4.1 Теорема про властивість асимптотичної рівноімовірності (вар)
- •5.4.2 Теорема 1. Про кодування джерела повідомлень
- •5.4.3 Теорема 2. Про кодування в каналі без завад
- •5.4.4 Теорема кодування в дискретному каналі з завадами
- •5.4.5 Інтерпретація теореми кодування
- •5.4.6 Енергетичний виграш кодування
- •5.5 Потенційні можливості безперервних каналів зв'язку при передачі дискретних повідомлень
- •5.5.1 Кодування й декодування в безперервному каналі зв'язку
- •5.5.2 Пропускна спроможність безперервного каналу зв'язку
- •5.5.2.1 Взаємна інформація пари відликів для аддитивної гауссовскої завади
- •5.5.2.2 Умовна диференціальна ентропія
- •5.5.2.3 Пропускна спроможність безперервного каналу зв’язку
- •5.5.2.4 Ε-ентропія безперервного джерела повідомлень
- •5.6 Теорема кодування для безперервного каналу зв'язку
- •5.6.1 Теорема про кодування в безперервному каналі з завадами
- •5.7 Потенційні можливості каналів з багатьма користувачами
5.7 Потенційні можливості каналів з багатьма користувачами
У попередньому розділі даної глави розглядалася модель системи зв'язку, у якій є одне джерело й один одержувач, а передача повідомлень здійснюється по єдиному каналу зв'язку.
Останнім часом значна увага приділяється так називаним мережам зв'язку, які реалізують обмін інформацією між більшою кількістю абонентів, які з'єднані між собою за допомогою безлічі розділених або загальних каналів зв'язку.
Загальна структура такої системи з багатьма користувачами показана на рис. 5.7. Тут є: множина джерел повідомлень ДжП1, ДжП2, ..., Джп; множина передавальних пристроїв ПП1, ..., ППК; множина прийомних пристроїв ПрП1, ..., Прп, множина одержувачів О1, ..., ОR і мережа каналів, що з'єднують передавальні й приймальні пристрої. У загальному випадку кожному джерелу доступна деяка підмножина передавальних пристроїв, а одержувачам повідомлень доступні виходи деякої підмножини прийомних пристроїв.
Основне завдання передачі повідомлень у такій системі зв'язку залишається тим самим – необхідно максимізувати швидкості передачі повідомлень при як завгодно високій вірності прийому. Однак на відміну від випадку з одним джерелом й одержувачем тут виникає множина припустимих швидкостей передачі між певними джерелами й одержувачами. Така постановка завдання приводить до поняття області припустимих швидкостей передачі, що приводять до надійної передачі повідомлень.
Найбільш частими випадками такої системи зв'язку є канал із множинним доступом, коли той самий канал зв'язку використовувається для передачі повідомлень від декількох джерел до того ж самого одержувача, і так званий широкомовний канал, коли те саме повідомлення передається декільком одержувачам.
В [24] розглянуте узагальнення теоретико-інформаційних понять для даної системи зв'язку й доведені теореми кодування, що визначають області досяжних швидкостей передачі при як завгодно малих імовірностях помилок.
Існує й інша постановка завдання, коли один з одержувачів є недружнім (інакше кажучи, він відповідає каналу підслуховування). Тоді завдання кодування полягає в мінімізації кількості інформації, що надходить до недружнього одержувача при максимізації швидкості передачі інформації для дружнього одержувача.
Рисунок 5.7 - Структура системи зв'язку з багатьма користувачами
У цей час достатно розроблені й конструктивні методи кодування й декодування для каналів з багатьма користувачами, однак виклад цього матеріалу виходить за рамки даного навчального посібника.
Загальні висновки
1 Повідомлення джерела з надмірністю можуть бути «стислі», тобто закодовані більш ощадливо за допомогою узгодження алфавітів джерела й каналу зв'язку. Граничні можливості стиску визначаються такою характеристикою джерела повідомлень, як ентропія, що залежить від статистичних властивостей повідомлень.
2 Потенційні можливості по швидкості для передачі достовірної інформації по каналах зв'язку з завадами визначаються пропускною спроможністю каналів зв'язку. Ця характеристика залежить від розподілів завад і параметрів каналів зв'язку.
3 Пропускна спроможність двійкового симетричного каналу без пам'яті залежить тільки від імовірності помилки символу р у каналі зв'язку. Вона максимальна при р = 0 або р = 1 і дорівнює нулю при р = 1/2, коли наступає обрив каналу зв'язку.
4 Пропускна спроможність безперервного гауссовского каналу зв'язку залежить від відношення сигнал-шум і смуги частот каналу. При необмеженому розширенні смуги частот каналу пропускна спроможність наближається до скінченної величини.
Контрольні питання та задачі
5.1 Якщо в m-ічній системі зв'язку з ортогональними сигналами середня потужність сигналів і спектральна щільність шуму постійні, то що потрібно зробити, щоб забезпечити наближення до нуля ймовірності помилки при збереженні постійної інформаційної швидкості передачі?
5.2 Що таке кодування й декодування в дискретному й безперервному каналах зв'язку? Що в них загального й чим вони відрізняються друг від друга?
5.3. Які види модуляції-демодуляції приводять до моделі двійкового симетричного каналу, а які до моделі несиметричного каналу?
5.4. Що зміниться, якщо при визначенні всіх інформаційних понять змінити основу логарифма? Чи вплине це на основні результати, які дає теорія інформації?
5.5 Властивості ентропії, умовної ентропії, кількості інформації можуть бути пояснені інтуїтивно. Однак якби це було не так, то чи збереглися б основні результати теорії інформації?
5.6 У скільки разів можна стиснути російський текст, переданий заголовними буквами (К = 32), якщо вважати, що ентропія джерела, що видає цей текст, Н(А)=1,5 біт/символ.
5.7 Чи можна за допомогою взаємної інформації I(X, Y) вимірювати ступінь залежності випадкових величин Х і Y? Якщо це так, то чим це краще оцінки ступеня залежності за допомогою коефіцієнта кореляції?
5.8 Ентропія дискретного джерела на вході каналу Н(Х)=5 біт/символ, втрати в дискретному каналі без пам'яті H(X|Y) = 0,2 біт/символ. Знайдіть ентропію шуму в каналі, якщо ентропія символів на виході каналу H(Y) = 5,5 біт/символ.
5.9 Поясните наочно сенс того факту, що при тому самому значенні рс = р пропускна спроможність 2СК без пам'яті буде завжди менше, ніж пропускна спроможність двійкового по входу каналу зі стиранням.
5.10 Доведіть, що для двійкового по входу каналу зі стиранням з імовірностями переходів (5.2) пропускна спроможність (біт на символ) С = (1 — рс)
5.11 Яке призначення кодування в каналі без завад?
5.12 Яке практичне значення має теорема кодування в каналі з завадами? Чи можна, використовуючи доказ цієї теореми, будувати реальні схеми кодування й декодування?
5.13 У скільки разів зменшується диференціальна ентропія рівномірно розподіленої випадкової величини (з нульовим МО) у порівнянні з випадком гауссовского розподілу, якщо фіксована дисперсія випадкової величини?
5.14 Чи є гауссовська завада найгіршої (і якщо так, то в якому сенсі) серед всіх завад однакової потужності?
5.15 На
графіку рис. 5.4 показано, що при розширенні
смуги частот каналу зв'язку
пропускна спроможність
завжди залишається
менше, ніж
.
Чи
має
тоді практичний зміст
розширювати смугу частот ліній зв'язку
(наприклад, кабельних)
понад таке значення F0,
при якому
?