ЗАКЛЮЧЕНИЕ

В настоящем учебном пособии изложены, во-первых, математические основы современных методов обработки информации с точки зрения вопросов эффективного сжатия данных, а во-вторых, описываются теоретические алгоритмы кодирования, реализующие наиболее популярные из них. Предложенные алгоритмы позволяют обеспечить прикладные и поисковые научные исследования в области теории информации.

Алгоритм Хаффмана дает возможность сжимать преимущественно текстовую и графическую информацию, поэтому закономерно является основой многих компьютерных программ, посвященных этим задачам.

Кодирование Шеннона открывает широкие возможности с педагогической точки зрения, поскольку конкретная практическая реализация основанных на нем алгоритмов сжатия данных будет иметь заметно более простой вид по сравнению с алгоритмом Хаффмана, что позволит студентам лучше понять и усвоить материал.

Алгоритмом Гильберта – Мура возможно решить две проблемы: роста сложности построения кодовых слов и декодирования таких слов, возникающие при кодировании больших последовательностей неупорядоченных по какому-либо признаку символов.

Арифметическое кодирование уже на протяжении нескольких десятилетий заслуженно остается наиболее эффективным методом кодирования в случае дробных неравномерных интервалов распределения вероятностей кодируемых символов, что делает его более гибким в сравнении с алгоритмом Хаффмана.

Для более глубокой самостоятельной проработки рассмотренных алгоритмов оптимального кодирования приведен список литературы, позволяющий закрепить знания, полученные в области теории информации.

82

СПИСОК ЛИТЕРАТУРЫ

1.Shannon, C. E. A mathematical theory of communication / С. Е. Shannon // The Bell System Technical Journal. – 1948. – Vol. 27, no. 3. – Р. 379–423.

2.Феллер, В. Введение в теорию вероятностей и ее приложения :

в2 т. : пер. с англ. / В. Феллер. – Москва : Мир, 1984. – Т. 1. – 528 с.

3.Кудряшев, Б. Д. Теория информации : учеб. для вузов / Б. Д. Кудря-

шов. – Санкт-Петербург : Питер, 2009.– 314 с.– ISBN 978-5-388-00178-8.

4.Gallager, R. Variations on a theme by Huffman / R. Gallager // IEEE Transactions on Information Theory. – 1978. – Vol. 24, no. 6. – P. 668–674.

5.Manstetten, D. Tight bounds on the redundancy of Huffman codes / D. Manstetten // IEEE Transactions on Information Theory. – 1992. – Vol. 38, no. 1. – Р. 144–151.

6.Witten, I. H. Arithmetic coding for data compression / I. H. Witten, R. M. Neal, J. G. Cleary // Communications of the ACM. – 1987. – Vol. 30, no. 6. – Р. 520–540.

83

ОТВЕТЫ К ЗАДАЧАМ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ

Г Л АВ А 1

§ 1.1

Задача 1. а) I(a) ≈1.737 бит, I(b) ≈3.322бит, I(c) ≈0.737 бит;

б) I(a) = I(b) = I(c) = log2 3 ≈1.585 бит.

Задача 2. N = 32 . Задача 3. H( X ) = 2 бит. Задача 4. H( X ) = 2.75 бит.

§ 1.2

Задача 1. H( X ) = H(Y ) = log2 3 бит, H( X |Y ) = H(Y | X ) =1 бит.

Задача 2. а) H( X ) ≈1.157 бит; б) 1000 H(Y | X ) ≈ 472.36 бит;

в) H(Y ) ≈ 1.094 бит.

Задача 3. H(Y | X ) ≈0.329 бит. Задача 4. H( X ) ≈1.858 бит. Задача 5. H(B | A) ≈1.584 бит.

§ 1.3

Задача 1. p1 =(0.6,0.4) .

Задача 2.α =1/ 2, β =0.

Задача 3. p =(2 / 5,3 / 5).

84

Задача 5. Марковский источник имеет два стационарных распределения:

p(1) = (0,3 / 5,0,2 / 5) и p(2) = (3 / 5,0,2 / 5,0).

Задача 6. В общем случае не является, так как при начальном распре-

Задача 7. а) 0.4231, 0.0279 и 0.0018; б) 0.5770, 0.0970 и 0.0163.

§ 1.4

Задача 2. Указание: множество X n \ T должно содержать 9 кодируемых блоков, вероятности которых равны 0.01 или 0.02.

85

Г Л АВ А 2

§ 2.1

Задача 1. Код C1 .

Задача 3. l = 2.69 бит.

Задача 4. C1 ={00,010,110,111} и C2 ={01,10,000,001,110,111}.

§ 2.3

Задача 1. Код Хаффмана:a = 11, b = 01, c = 101, d = 000, e = 001, f = 1000,

86

Приложение А ТАБЛИЦЫ ЧАСТОТНОСТЕЙ БУКВ РУССКОГО

И АНГЛИЙСКОГО ЯЗЫКОВ

Таблица А.1

Таблица частотностей букв русского алфавита

87

Таблица А.2

Таблица частотностей букв английского алфавита

88

Приложение Б ПРЕОБРАЗОВАНИЕ ДЕЙСТВИТЕЛЬНЫХ ЧИСЕЛ

В ДВОИЧНУЮ СИСТЕМУ СЧИСЛЕНИЯ

Перевод действительных чисел в двоичную систему счисления основывается на следующем разложении:

x = an 2n +an−1 2n−1 + +a1 21 +a0 20 +a−1 2−1 +a−2 2−2 + , (Б.1)

где n – некоторое неотрицательное целое число; an ,an−1, ,a1,a0 ,a−1,a−2 , – числа, принимающие значения либо 0, либо 1. Можно доказать, что для всякого действительного числа x разложение (Б.1) единственно. В компактном виде это разложение можно записать как

anan−1 a1a0 .a−1a−2 ,

где последовательность чисел слева от разделителя представляет собой двоичную запись целой части числа x , а последовательность чисел справа от разделителя – это двоичная запись дробной части числа x . Так же, как и в десятичной системе счисления, некоторые числа представляются обрывающимся двоичным рядом (Б.1), но для большинства действительных чисел разложение (Б.1) будет бесконечным. Например, число x =1/ 3 представляется бесконечным рядом

1/ 3 =0 2−1 +1 2−2 +0 2−3 +1 2−4 +0 2−5 +1 2−6 + .

Его дробная часть в двоичной записи – это бесконечная последовательность чередующихся нулей и единиц: 0.01010101 . Напротив, число x = 3 / 4 представляется конечным рядом (Б.1)

3 / 4 =1 2−1 +1 2−2 ,

а его двоичная запись имеет вид 0.11.

89

На практике перевод действительных чисел в двоичную систему счисления осуществляется в два этапа. Сначала выделяют целую часть числа и переводят её в двоичную форму. Алгоритм решения подобной задачи хорошо известен, поэтому мы его опускаем. На втором этапе в двоичную форму переводится дробная часть числа. Для этого используют следующий алгоритм:

•дробная часть умножается на два;

•в полученном произведении выделяется целая часть; если она больше единицы, пишем цифру 1, в обратном случае – пишем цифру 0;

•алгоритм завершается, если дробная часть полученного произведения равна нулю или достигнута требуемая точность вычислений.

Как только десятичные выражения для целой и дробной частей получены, выписываем их в качестве ответа, отделяя знаком-разделителем (точкой или запятой).

90