3.4. Контрольные вопросы

1. Что понимают под каналом связи?

2. Какие каналы связи называют дискретными?

3. Как строится и что характеризует матрица переходных вероятностей канала связи?

4. Как описывается двоичный симметричный канал связи?

5. Как определяются информационные потери при передаче сообщений по каналу связи с помехами?

6. Как определяют скорость передачи информации по дискретному каналу связи?

7. Что характеризует пропускная способность канала связи?

8. В каком случае пропускная способность канала связи равна нулю?

9. Как определяется пропускная способность дискретного канала при отсутствии помех?

10. Как определяется пропускная способность дискретного канала с помехами?

11. Для чего предназначен кодер канала связи?

12. В чем заключается помехоустойчивое кодирование?

13. Каково назначение декодера канала связи?

14. Как строится и работает код с битом четности?

4. Построение эффективных кодов по методам Шеннона-Фано и Хаффмана

4.1. Цель работы

Цель работы – приобрести умение получать эффективные коды с помощью методов Шеннона-Фано и Хаффмана.

Работа рассчитана на 2 часа.

4.2. Основные теоретические сведения

4.2.1. Понятие эффективного кодирования. Метод Шеннона-Фано

Понятие эффективного кодирования.

Для того чтобы эффективнее использовать канал связи (устройство хранения), следует так преобразовывать порожденную источником сообщений информацию, чтобы ее передача (хранение) сопровождалась наименьшими затратами. Такое преобразование информации называется кодированием источника сообщений.

При кодировании источника сообщений каждому символу алфавита S = {s₁, s₂, … , s_m} источника соответствует последовательность символов алфавита X = {x₁, x₂, … , x_K} кодера этого источника. Упорядоченная последовательность символов , соответствующая определенному символу s_i, называется кодовым словом.

Под кодом понимают множество всех кодовых слов { , … , }.

Число символов L в кодовом слове называют длиной кодового слова.

Средней длиной кодовых слов называется величина:

; (4.1)

где p(s_i) – вероятность появления символа s_i из алфавита S размером m; L_i – длина кодового слова, соответствующего символу s_i.

Кодирование, при котором обеспечивается минимальная средняя длина кодовых слов, называется эффективным (оптимальным). В эффективном коде символу источника, встречающемуся чаще всего, присваивается наиболее короткое кодовое слово.

Эффективное кодирование базируется на теореме Шеннона о кодировании источников, согласно которой можно так закодировать символы источника сообщений, что средняя длина кодовых слов будет удовлетворять условию:

; (4.2)

где H – энтропия источника сообщений, K – основание кода.

Из теоремы Шеннона следует, что минимальная средняя длина кодовых слов определяется соотношением:

; (4.3)

Для двоичного кода (K = 2) .

Эффективностью E кода называется отношение к реально достигнутой в данном коде средней длине кодовых слов :

. (4.4)

Избыточностью R кода называют величину:

(4.5)