Задание 4 Эффективное кодирование

1. Рассматриваются 4 сообщения (х1, х2, х3, х4). Суммарная вероятность их появления равна 1. Вероятность сообщения х1 Р(х1) = 0.1* п1 + 0.05*п2. Где п1 и п2 –цифры двухзначного номера студента по журналу группы. Вероятностями остальных сообщений задаться самостоятельно. Вычислить энтропию сообщений Н = ∑(Р(хк) *logРхк)). хк – это (х1, х2, х3, х4).

2. Закодировать сообщения кодом Шенонна-Фано (Ш.-Ф.). Вычислить среднюю длину кода п = ∑ а(хк)*Р(хк). а(хк) – количество знаков в коде Ш.-Ф. сообщения хк.

3. Сгруппировать сообщения по 2 (4*4 =16). Вычислить вероятности этих новых сообщений , как произведение вероятностей соответствующих исходных сообщений.

4. Закодировать эти 16 сообщений кодом Ш.-Ф. и вычислить энтропию полученных сообщений и среднюю длину кода.

5. Закодировать эти 16 сообщений кодом Хаффмена. Найти среднюю длину кода?

Контрольные вопросы к заданию 4

1. Как и почему должны соотноситься средняя длина кода и энтропия?

2. Поясните, является ли неизбыточный код эффективным?

3. Поясните, какой существенный недостаток имеют эффективные коды?

4. Как осуществляется декодирование эффективных кодов?

5. Какой код «лучше» Ш.-Ф. или Хаффмена?

6. Эффективный код увеличивает или уменьшает скорость передачи информации?

7. В чём суть префикосности эффективных кодов?

8. С какой целью производят укрупнение сообщений ( как в п. 3)задания?

9. Всегда ли целесообразно применять эффективное кодирование информации?

10. Поясните. Повышает ли помехоустойчивость сообщений эффективное кодирование?

Задание 5 (Домашнее задание) Некоторые сведения из теории полей Галуа.

Коды Рида – Соломона строятся, используя арифметические операции в конечных полях, называемых полями Галуа ( GF(p))порядкаp. Числоpдолжно быть простым. Помимо таких полей используются полеGF(p^m), называемое расширением поляGF(p). Расширение поля используется для многочленного представления элементов поляGF(p^m). Многочленное представление это все многочлены степени меньшейm. Чтобы в результате арифметических действий над многочленами не получился многочлен степени выше, чемm-1 , результат приводят по модулю неприводимого многочлена степениm. То есть, за результат выполнения арифметических операций принимают остаток от деления результата на неприводимый многочлен. Многочлен называется неприводимым, если он не раскладывается на множители (на многочлены) степени меньшей, чемmс коэффициентами из поляGF(p).

Среди элементов поля GF(p^m) можно выбрать такой элемент α, что ,возводя его последовательно в степень, получают все элементы поля (кроме нулевого). Таких элементов может быть несколько. Они определяются методом перебора. Элемент α называют примитивным.

Неприводимый многочлен не имеет корней в поле GF(p), но имеет корни в расширении поля. Если неприводимый многочлен имеет своим корнем примитивный элемент, то такой многочлен называется примитивным (или порождающим). Если многочленp(x) имеет корень β, то его корнями будут также β в степенях р^і (і = 1,2 и т. д. доm- 1). Если р=2, то β, β² ,β⁴ … . Таблицы всех неприводимых многочленов различных степеней приводятся в учебниках по кодированию. Примитивные многочлены среди них выделены.

Рассмотрим поле GF(2⁴). Используя примитивный многочлен четвёртой степени g(x) =X⁴ +X+ 1 составим таблицу соответствия элементов поляGF(2⁴) в виде степеней примитивного элемента, двоичным и десятичным эквивалентом элемента. Примитивный элемент α =(Х). (Из записи многочлена g(x) следует, что Х =2.) Поскольку многочлен примитивный, то g(α) =0; α * g(α) =0; α² * g(α) = 0 и т.д. Откуда следует, что α⁴= α + 1; α⁵ = α² + α; α⁶ = α³ + α² и т.д. Учитывая это, начиная с α⁴, получим следующую таблицу.

Т а б л и ц а 1. Представление элементов поля в виде степени примитивного элемента и в двоичном коде.

α⁰ = 1 0001 1

α¹= α 0010 2

α² = α² 0100 4

α³ = α³ 1000 8

α⁴ = α + 1 0011 3

α⁵ = α² + α 0110 6

α⁶= α³ + α² 1100 12

α⁷= α³+ α +1 1011 11

α⁸= α² + 1 0101 5

α⁹= α³ + α 1010 10

α¹⁰= α² + α +1 0111 7

α¹¹= α³ + α² + α 1110 14

α¹²= α³ + α² + α + 1 1111 15

α¹³= α³ + α² +1 1101 13

α¹⁴= α³ +1 1001 9

α¹⁵= 1 0001 1

Здесь учтено, что, например, α⁷= α⁴+ α² = α + 1 + α²= α² + α + 1.

В поле задаются две арифметические операции: сложение и умножение, выполняемые с приведением результата по модулю. Кроме того в поле для каждого его элемента имеется обратный элемент по сложению (-а) элемента поля (а) такой, что а +(-а)=0, и обратный элемент а^-1 по умножению такой, что а*а^-1 = 1. Существование этих элементов позволяет выполнять операции вычитания и деления. Например, а –в =а +(-в); а/в =а*(в^-1 ). В полеGF(2) имеются только два элемента «0» и «1». И обратными элементами является сам элемент, а операция вычитания заменяется операцией сложения по модулю 2.

Операция сложения выполняется как операция сложения по модулю 2 с двоичным представлением элемента. Например, 12 + 5 = 1100 + 0101 = 1001 = 9; 10 + 11 = 1010 + 1011= 0001 = 1. Операция умножения производиться с применением логарифмирования и антилогарифмирования. Операция логарифмирования заключается в том, что элементы поля GF(2⁴) заменяются степенным представлением примитивного элемента. В результате умножения показатели соответствующих степеней примитивного элемента складываются, приводятся по модулю 15. Затем в соответствии с полученной степенью примитивно элемента из таблицы находят соответствующее значение десятичного представления элемента поля. Например, 4*8 = α² + α³ = α⁵ =6; 5*10 = α⁸ * α⁹ = α¹⁷ = α² = 4.