ЛР а

Пункт 1 — Вероятности слов

Из условия: P(M) = 1 − P(A) = 0.2; P(A/A) = 1 − P(M/A) = 0.9; P(M/M) = 1 − P(A/M) = 0.7

Проверка: 0,72 + 0,08 + 0,06 + 0,14 = 1,00 ✓

Пункт 2 — Энтропия источника и избыточность

Энтропия рассчитывается по формуле для источника зависимых сообщений (делим на длину слова n=2):

Избыточность (  бит/символ для m=2):

Пункт 3 — Четверичный код

Кодируем слова как символы четверичного кода: AM→0, MA→1, MM→2, AA→3 (m=4).

Энтропия считается по тем же вероятностям слов, но теперь это 1 символ (не делим на 2):

 дв.ед./символ

Пункт 4 — Безызбыточный код Хаффмена

Сортировка по убыванию: AA(0,72) > MM(0,14) > AM(0,08) > MA(0,06)

Построение кодового дерева:

1. Объединяем MA(0,06) + AM(0,08) = 0,14

2. Объединяем MM(0,14) + MA+AM = 0,28

3. Объединяем AA(0,72) + MM+MA+AM = 1,00 — вершина

Кодовые комбинации (1 = вверх, 0 = вниз от вершины):

Слово	Вероятность	Код	Длина
AA	0,72	1	1
MM	0,14	00	2
AM	0,08	011	3
MA	0,06	010	3

Средняя длина:

Подсчёт P(0) и P(1) из 100 среднестатистических сообщений:

• AA×72 (код «1»): 0 нулей, 72 единицы

• MM×14 (код «00»): 28 нулей, 0 единиц

• AM×8 (код «011»): 8 нулей, 16 единиц

• MA×6 (код «010»): 12 нулей, 6 единиц

Энтропия нового двоичного кода:

Пункт 5 — Фазовая модуляция и максимальная энтропия

Двоичная ФМ (m = 2):

Четырёхпозиционная ФМ (m = 4), дибиты:

(Временны́е диаграммы: для 2-ФМ — два меандра со сдвигом фазы 180°; для 4-ФМ — четыре меандра со сдвигом 90°)

Максимальная энтропия (при равновероятных символах):