19. Основ.Задачи теории кодирования. Алфавитные коды и их св-ва….

Теория кодирования информации является одним из разделов теоретической информатики. К основным задачам, решаемым в данном разделе, необходимо отнести следующие:

- разработка принципов наиболее экономичного кодирования информации;

- согласование параметров передаваемой информации с особенностями канала связи;

- разработка приемов, обеспечивающих надежность передачи информации по каналам связи, т.е. отсутствие потерь информации.

Две последние задачи связаны с процессами передачи информации. Первая же задача – кодирование информации – касается не только передачи, но и обработки, и хранения информации, т.е. охватывает широкий круг проблем; частным их решением будет представление информации в компьютере. С обсуждения этих вопросов и начнем освоение теории кодирования.

Код – (1) правило, описывающее соответствие знаков или их сочетаний одного алфавита знакам или их сочетаниям другого алфавита; - (2) знаки вторичного алфавита, используемые для представления знаков или их сочетаний первичного алфавита.

Кодирование – перевод информации, представленной посредством первичного алфавита, в последовательность кодов.

Алфавитные коды.

Алфавитное кодирование задается схемой, в которой каждой букве алфавита ставится

в соответствие двоичная последовательность символов:

b₁ → v₁

b₂ → v₂

b_m → v_m

Коды v_i называются элементарными, а их набор V=(v₁ ,v₂ , …v_m) - кодом.

Опр 1. Пусть A = {a₁, a₂, …, a_r} — исходный алфавит, B = {b₁, b₂, …, b_m} —

кодирующий алфавит и

A* = Ø U A U A₂ UA₃ U … U A_n U …, B* = Ø U B U B₂ U B₃ U … U B_n U ….

Тогда алфавитным кодированием A* --> B* назовём отображение : A --> B* такое, что a_i --> B_i.

Множество {B₁, B₂, …, B_r} при этом называется множеством кодовых слов (или просто ко-

дом). При этом : a_i1 a_i2 … a_is > B_i1 B_i2 … B_is .

Свойства А.К. :

1. Скорость передачи характеризуется количественно величиной математич. ожидания времени, к-рое требуется для передачи одной буквы сообщения.

2. сложность декодирования.

Примером А.К. может служить известный код Морзе, в к-ром слова кодируются побуквенно, а буквам сопоставлены слова в алфавите трех символов {·, - , ^} где ^- пробел.

Коды, в которых возможно автоматическое исправление ошибок, называются самокорректирующимися. Для построения самокорректирующегося кода, рассчитанного на исправление одиночных ошибок, одного контрольного разряда недостаточно. Как видно из дальнейшего, количество контрольных разрядов k должно быть выбрано так, чтобы удовлетворялось неравенство или , где m — количество основных двоичных разрядов кодового слова.

Коды Хэмминга — наиболее известные и, вероятно, первые из самоконтролирующихся и самокорректирующихся кодов. Построены они применительно к двоичной системе счисления.

Алгоритмы сжатия:

1. Алгоритм Хаффмана (Использует только частоту появления одинаковых байт в изображении. Сопоставляет символам входного потока, которые встречаются большее число раз, цепочку бит меньшей длины. И, напротив, встречающимся редко — цепочку большей длины.)

2. Алгоритм LZW («Lempel—Ziv—Welch» Последовательно считываются символы входного потока и происходит проверка, существует ли в созданной таблице строк такая строка. Если такая строка существует, считывается следующий символ, а если строка не существует, в поток заносится код для предыдущей найденной строки, строка заносится в таблицу, а поиск начинается снова. В настоящее время испольуется в файлах формата TIFF, PDF, GIF, PostScript и других, а также отчасти во многих популярных программах сжатия данных (ZIP, ARJ, LHA))

3. Алгоритмы LZ77 и LZ78 (предшественники №2)

4. Преобразование Барроуза-Уиллера

5. Обратное преобразование Барроуза-Уиллера

6. Преобразование MTF

7. Расстояние Хэмминга

8. Избыточное кодирование, код Хэмминга

9. Неравенство Крафта

10. Неравенство Макмиллана