- •Поняття кібернетики
- •Розвиток кібернетики
- •Предмет, методи і цілі кібернетики
- •Кібернетика й інформація
- •Місце кібернетики в системі наук
- •Роль і значення кібернетики
- •Кібернетика й комп'ютери
- •Застосування кібернетики - моделювання
- •I Віннер у 1948 році обґрунтував ефективність застосування комп’ютерних засобів в кібернетичних системах для опрацювання інформації.
- •Кількісна оцінка інформація
- •1)Кількість повідомлень н яку можна отримати комбінуючи м символів по н елементів у повідомленні можна подати залежністю:
- •Безумовна ентропія та її властивості.
- •Основні властивості беумовної ентропії.
- •Імовірна ентропія
- •Особливості обчислень к-ті інформації при передачі повідомлень через дискретні канали зв’язку
- •Обчислення швидкості передачі інформації та пропускної здатності каналів зв’язку
- •Кодування інформації
- •Надлишковість інформації
- •Оптимальне кодування
- •Завадостійке кодування
- •Роздільні і не роздільні коди
Обчислення швидкості передачі інформації та пропускної здатності каналів зв’язку
В умовах відсутності завад швидкість передачі інформації визначається кількістю інформації що переноситься символом повідомлення за одиницю часу і може бути представлена співвідношенням: С = n*H (1)
де С – це швидкість передачі , n – кількість символів яка формується та передається джерелом повідомлення у канал зв’язку за одиницю часу.
Ентропія
яка усувається при отриманні одного
символу повідомлення що виробляє це
джерело повідомлень, співвідношення
(1) можна представити в іншому вигляді:
C
=
(2) де ℑ
-
це час передачі одного символу.
Швидкість
передачі інформації завжди визначається
відносно первинного алфавіту і залежить
від його ентропії в той час швидкість
передачі сигналів обчислюється відносно
вторинного алфавіту, якщо апаратні
засоби забезпечують передачу усіх
якісних ознак вторинного алфавіту тоді
швидкість передачі сигналів можна
представити обернену величину до ℑ
V =
(3) символ/сек. Отже швидкість передачі
інформації залежить від інформаційних
характеристик джерела повідомлень, а
швидкість передачі сигналів від швидкодії
апаратних засобів. Ці величини вимірюються
різними характеристиками так яка
швидкість передачі інформації вимірюється
у біт/сек. для повідомлень складених з
рівноймовірних взаємонезалежних
символів однакової тривалості швидкість
передачі інформації визначається: C =
*
біт/сек. (4) де m
– кількість символів первинного
алфавіту.
У
випадку нерівноймовірних символів
однакової тривалості швидкість передачі
інформації визначається: C =
*
біт/сек. (5)
У
випадку нерівноймовірних і взаємозалежних
символів різної тривалості швидкість
передачі інформації визначається: C
=
(6)
Якщо
вважати що канал зв’язку це сукупність
засобів призначених для передачі
інформації від джерела повідомлень до
адресата то під пропускною здатністю
каналу зв’язку можна вважати його
максимальну швидкість передачі
інформації. Максимальну швидкість
передачі інформації і відповідну
пропускну здатність каналу зв’язку Cn
можна визначити за формулою: Cn
= Cmax
=
біт/сек. (7)
Для двійкового коду пропускна здатність каналу зв’язку визначається за формулою (7a)
Cn2
= Cmax2
=
=
біт/сек. (7а)
При наявності завад у каналі зв’язку при визначенні відповідних ентропій у джерела повідомлень та адресата пропускна здатність каналу зв’язку визначається виразом (8)
Cn = n[H(A) – H(A/B)] = n[H(B) – H(B/A)] = n[H(A) + H(B) – H(A,B)] біт/сек. (8) в переважній більшості пропускна здатність реальних каналів зв’язку обчислюється на основі ймовірностей неправильного прийому інформації Рн або правильного прийому інформації Рп або правильного прийому при дії каналу завад ці ймовірності взаємозв’язані співвідношенням: Рп = 1 – Рн (9)
Канал зв’язку в якому ймовірності помилкових переходів однакові, та ймовірності правильного прийому одного символу дорівнюють ймовірності прийому іншого символу називають симетричним. Канал не може бути симетричним на короткому інтервалі передачі одного слова. Канал вважається симетричним на досить тривалому, а в ідеалі нескінченному часі передачі повідомлень. На практиці симетричними каналами вважають такі які мають близькі значення ймовірностей передачі якісних ознак. Багато каналів з достатньою мірою точності описуються моделлю симетричного каналу і такий канал має наступні основні властивості:
-
Ентропії джерела повідомлення та адресата однакові Н(А) = Н(В)
-
Умовні ентропії джерела повідомлення та адресата симетричні Н(А/В) = Н(В/А)
-
Середня кількість інформації в прийнятому повідомленні відносно до переданого симетрична кількості інформації переданої відносно до прийнятої і може бути визначена за одним із наведених співвідношень: I(A,B) – I(B,A) = H(A) – H(B/A) =
= H(A) – H(A/B) = H(B) – H(A/B) = H(B) – H(B/A) = H(A) + H(B) – H(A,B) = H(A) + + H(B) – H(B,A)
-
Канальна матриця зі сторони джерела повідомлень і зі сторони адресата описується однаковими параметрами (співвідношеннями)
-
В канальних матрицях сума ймовірностей у кожному рядку та у кожному стовпці рівна одиниці
-
Пропускна здатність від джерела до приймача дорівнює пропускній здатності від приймача до джерела
Для
двійкового коду з властивостей симетричних
каналів зв’язку випливає що максимальна
швидкість передачі інформації буде для
джерел й яких ймовірності передачі 0 та
1 рівні, тобто ймовірність для логічної
одиниці дорівнює ймовірності для
логічного нуля 0,5, тоді ентропія для
джерела повідомлень і ентропія для
адресата визначається: H(A)
= H(B)
= -
-1 біт/символ.

