Розрахунково-графічна робота

з курсу «Теорія інформації»

Завдання 1

У алфавіті використовуються m букв: а) Скласти максимальну кількість повідомлень, комбінуючи по n букв у повідомленні, б) Яка кількість інформації припадає на один елемент таких повідомлень? в) Чому дорівнює кількість інформації на символ первинного алфавіту?

Варіант	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21
m	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21
n	1	2	3	4	5	6	7	8	9	10	2	3	4	5	6	7	8	9	12	13	6

Завдання 2

Як визначити кількість інформації у одному повідомленні, якщо відомо максимально можлива кількість повідомлень N? Як визначити кількість інформації, якщо відома кількість якісних ознак n, з яких складені повідомлення, відома кількість символів m у кожному повідомленні, а також відомо кількість повідомлень k.

Примітка: Якщо повідомлення рівно ймовірні , то кількість інформації у одному повідомленні Якщо відома кількість якісних ознак та довжина повідомлень, то кілкість інформації у одному повідомленні , а у повідомленнях маємо , де k – кількість повідомлень.

Варіант	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21
N	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21
m	12	23	34	45	52	63	74	85	96	10	22	33	42	51	16	57	18	59	12	13	16
k	31	23	34	44	15	26	37	18	39	101	11	12	73	64	75	46	37	28	29	22	24

Завдання 3

Алфавіт складається з символів: A, B, C, D... . Ймовірності появи літер вибрати самостійно. Визначити кількість інформації на символ повідомлення, що складається з такого алфавіту.

Варіант	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21
m	1	2	3	4	5	6	7	8	9	10	1	2	3	4	5	6	7	8	9	10	3

Примітка: Кількість інформації на символ абетки дорівнює ентропії обраного алфавіту. Через те, що символи алфавіту нерівно вірогідні, ентропію дорівнює: