Министерство образования и науки

Российской Федерации

ПСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ

А.И. Спиридонов

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ

УЧЕБНОЕ ПОСОБИЕ

Санкт-Петербург

2004

УДК 681.3.053

Рекомендовано к изданию

научно-методическим советом

Псковского государственного политехнического института

Рецензенты:

• Ильин С.Н., зам. генерального директора ОАО «СКБ ВТ»

• Григорьев О.Н., доцент каф. Электроэнергетики ППИ

Учебное пособие «Основы теории информации и кодирования» по дисциплине «Теория кодирования» (ЕН.Р.02) предназначено для студентов Псковского государственного политехнического института специальности 230101 «Электронные вычислительные машины, комплексы, системы и сети» очной, очно-заочной и очной с сокращенным сроком реализации форм обучения.

В пособии изложены основные положения теории информации и кодирования, принципы построения цифровых, эффективных и корректирующих кодов, способы реализации кодеров и декодеров.

Учебное пособие может использоваться студентами родственных специальностей и специализаций.

Спиридонов А.И. «Основы теории информации и кодирования». Учебное пособие. – СПб/Псков, Изд. СПбГПУ, 2004 – 140 с.

© Псковский государственный политехнический институт, 2004.

© СПбГПУ, 2004.

© Спиридонов А.И., 2004.

Содержание

Введение 6

1. Элементы теории информации. 8

1.1. Понятия информации, сообщения и сигнала. 8

1.1.1. Понятие информации. 8

1.1.2. Понятие сообщения. 9

1.1.3. Понятие сигнала. 12

1.2. Измерение информации. 14

1.2.1. Структурные меры информации. 15

1.2.2. Статистическая мера информации. 20

1.3. Квантование сигналов. 26

1.3.1. Дискретизация сигналов. 28

1.3.2. Квантование по уровню. 32

2. Кодирование информации. 36

2.1. Цифровое кодирование информации. 36

2.1.1. Позиционные системы счисления. 37

2.1.2. Смешанные системы счисления. 40

2.1.3. Перевод числа из одной системы счисления в другую. 42

2.1.4. Коды, не базирующиеся на системах счисления. 45

2.2. Эффективное кодирование. 48

2.2.1. Избыточность сообщений. 48

2.2.2. Теоретические основы эффективного кодирования. 50

2.2.3. Построение эффективного кода по методам Шеннона-Фано и Хаффмена. 53

2.2.4. Кодирование укрупненными блоками. 58

2.3. Теоретические основы помехоустойчивого кодирования. 60

2.3.1. Теоремы Шеннона о помехоустойчивом кодировании. 61

2.3.2. Классификация помехоустойчивых кодов. 62

2.3.3. Общие принципы использования избыточности при построении корректирующих кодов. 64

2.3.4. Избыточность корректирующих кодов. 68

2.4. Коды, обнаруживающие ошибки. 69

2.5. Линейные коды, обнаруживающие и исправляющие ошибки. 75

2.5.1. Построение двоичного линейного кода. 78

2.5.2. Кодирование. 84

2.5.3. Синдромный метод декодирования. 86

2.5.4. Кодирующее и декодирующее устройства. 89

2.5.5 Коды Хэмминга. 93

2.5.6. Матричное представление линейных кодов. 95

2.5.7. Мажоритарное декодирование. 105

2.6. Циклические коды. 108

2.6.1. Выбор образующего многочлена. 111

2.6.2. Формирование разрешенных кодовых комбинаций. 115

2.6.3. Декодирование циклических кодов. 118

2.6.4. Циклические коды с . 121

2.6.5. Кодирующее и декодирующее устройства. 123

2.6.6. Мажоритарное декодирование. 136

2.6.7. Матричное представление циклических кодов. 141

2.7. Краткие сведения о других кодах. 143

2.8. Понятие об адаптивном кодировании. 147

Список литературы. 152

Введение

Во второй половине 20 в. человечество вступило в новый этап своего развития, заключающийся в переходе от индустриального общества к информационному. Процесс, обеспечивающий этот переход, получил название информатизации и состоит в реализации комплекса мер, направленных на обеспечение полного и своевременного использования достоверных знаний во всех общественно значимых видах человеческой деятельности.

Теоретическим фундаментом процесса информатизации является информатика. Впервые термин «информатика» (informatics) появился во Франции в 60-х годах после того, как Французская академия приняла его вместо понятия «обработка информации». После этого он стал широко использоваться в Европе и только в США и в Англии для обозначения рассматриваемой области деятельности используется термин «computer science». Буквальный перевод «computer science» – вычислительная наука, но это неверно по смыслу. По мнению академика А.А. Дородницына «computer science» – наука о преобразовании информации, в самом своем существе базирующаяся на применении вычислительной техники (ВТ).

Появление информатики как самостоятельной научной дисциплины обусловлено возникновением и распространением новой технологии сбора, передачи, обработки и преобразования информации, основанной на широком использовании средств ВТ и фиксации данных на машинных носителях. Но информатика – это не просто вычислительная технология, а вычислительная технология, органически встроенная в среду применения и преобразующая ее в соответствии с возможностями ЭВМ и потребностями самой среды применения. Воздействие вычислительной технологии на среду применения – главный отличительный элемент информатики как особой дисциплины.

Информатика, являясь новой научной областью, при решении своих задач опирается на такие традиционные науки, как семиотика, математическая логика, электроника и т.д. В частности, теория информации и кодирования используется информатикой при кодировании информации и ее передаче.

Теория кодирования является одним из разделов теории информации, изучающей способы отображения сообщений с помощью символов некоторого алфавита. Являясь составной частью теории информации, теория кодирования базируется на ее основных положениях, поэтому в настоящем методическом пособии сначала рассматриваются элементы теории информации, а затем вопросы кодирования.