Е.И. Воробьёва

ТЕОРИЯ ИНФОРМАЦИИ

И КОДИРОВАНИЯ

Учебное пособие

Воронеж 2007

ГОУВПО «Воронежский государственный технический университет»

Е.И. Воробьёва

ТЕОРИЯ ИНФОРМАЦИИ

И КОДИРОВАНИЯ

Утверждено Редакционно-издательским советом

университета в качестве учебного пособия

Воронеж 2007

УДК 519.92:621.391

Воробьёва Е.И. Теория информации и кодирования /учеб. пособие Е.И.Воробьёва. Воронеж: ГОУВПО «Воронежский государственный технический университет», 2007. 263 с.

В учебном пособии содержится материал по теории информации и кодирования. Освещены основные понятия этой теории, рассмотрены дискретные и непрерывные ансамбли и источники, понятие количества информации. Описаны информационные подходы к оценке качества функционирования систем связи и методы сокращения избыточности в системах передачи информации.

Учебное пособие соответствует требованиям Государственного образовательного стандарта высшего профессионального образования по направлению 090100 «Информационная безопасность», специальностям 090102 «Компьютерная безопасность», 090105 «Комплексное обеспечение информационной безопасности автоматизированных систем», 090106 «Информационная безопасность телекоммуникационных систем», дисциплинам «Теория информации», «Системы и сети передачи информации» и «Философские основы защиты информации».

Учебное пособие подготовлено в электронном виде в текстовом редакторе MS WORD и содержится в файле ТИ.doc.

Табл. 11 . Ил. 25. Библиогр.: назв.

Рецензенты:

РАЦБУР (ген. директор А.В. Золотухин);

д.т.н., проф. Ю.Г. Бугров

© Воробьёва Е.И., 2007

© Оформление. ГОУВПО «Воронежский государственный технический университет», 2007

ОГЛАВЛЕНИЕ

Введение…………………………………………………….……….....5

1. Информация. Сообщение. Сигнал…………..……………………..6

1.1. Основные понятия……………………………………………...6

1.2. Дискретизация непрерывных сообщений …………………....8

2. Дискретные ансамбли и источники……………………………....11

2.1. Основные понятия…………………………………………….11

2.2. Случайные величины. Закон больших чисел………….22

2.3. Количество информации в сообщении. Энтропия..........28

2.4. Условная информация. Условная энтропия…………..….33

2.5. Энтропия на сообщение дискретного стационарного источника……………...........................................................................39

2.6. Постановка задачи кодирования дискретных

источников равномерными кодами……………………………….....43

2.7.Теорема о высоковероятных множествах дискретного источника без памяти……………………………………………..….50

2.8. Скорость создания информации дискретным

источником без памяти при равномерном кодировании…….....54

2.9. Эргодические дискретные источники………………….....58

2.10. Постановка задачи неравномерного кодирования дискретных источников. Коды с однозначным декодированием....72

2.11. Кодовые деревья. Неравенство Крафта…….…………..79

2.12. Неравномерное кодирование дискретных

стационарных источников………………………………...………….....82

2.13. Оптимальные неравномерные коды………………………...88

2.14. Обсуждение основных результатов…………………………94

3. Количество информации. Кодирование в дискретных каналах.………………………………………………………………...99

3.1. Количество информации между дискретными

ансамблями……………………………………………………….....99

3.2. Кодирование в дискретных каналах…………………...……111

1. Классификация каналов связи……………...……….112

3.2.2. Постановка задачи кодирования в дискретном канале……………………………………………………………...….118

3.2.3. Неравенство Фано…………………………………….125

3.3. Общая обратная теорема кодирования для дискретных каналов……………………………………………………………………….130

3.4. Информационные пределы избыточности.

Принципы помехоустойчивого кодирования……………………....134

3.5. Основные принципы помехоустойчивого кодирования…...148

4. Непрерывные ансамбли и источники ……………........................157

4.1. Непрерывные ансамбли и источники. Обобщение

понятия количества информации …………………………….…….157

4.2. Относительная энтропия и ее свойства.................................174

4.3. Непрерывные каналы с дискретным временем. Обратная теорема кодирования……………………………………..…………185

4.4. Кодирование источников с заданным критерием качества....……….................................................................................193

4.4.1. Критерии качества. Постановка задачи

кодирования с заданным критерием качества……………………...195

4.5. Эпсилон - энтропия и ее свойства……………………….....205

5. Информационный подход к оценке качества

функционирования систем связи…………………………………...214

5.1. Методы сокращения избыточности в системах

передачи информации……………………………………………….219

5.1.1. Избыточность источника и эффективность ЭПП…..219

5.1.2. Информационные характеристики источника дискретных сообщений………………………………….…………..222

5.1.3. Кодирование сообщений с заданной

мерой верности……………………………………………………….228

5.1.4. Совместное кодирование для источника и канала….231

5.1.5. Информационные характеристики источника непрерывных сообщений……………………………………………236

5.1.6. Цифровое кодирование непрерывных сообщений….242

5.1.7. Цифровое кодирование с предсказанием…………....247

5.2. Сплайн-интерполяция ……………………………………….256

Библиографический список…………………....…………………....257

ВВЕДЕНИЕ

Информация наряду с материей и энергией является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена. Можно лишь перечислить ее основные свойства, например такие как:

1. информация приносит сведения, об окружающем мире которых в рассматриваемой точке не было до ее получения;

2. информация не материальна, но она проявляется в форме материальных носителей дискретных знаков или первичных сигналах;

3. знаки и первичные сигналы несут информацию только для получателя способного распознать.

Вместе с тем слово информация является одним из тех терминов, которые достаточно часто встречаются не только в научных трудах специального характера, но и во множестве обиходных ситуаций и являются интуитивно понятными каждому человеку. При этом в узком практическом смысле под информацией обычно понимают совокупность сведений об окружающем мире являющихся объектом хранения, передачи и преобразования. Знаки или первичные сигналы, организованные в последовательности несут информацию не потому, что они повторяют объекты реального времени, а по общественной договоренности об однозначной связи знаков и объектов, например: предметы и слова для их обозначения. Кроме того, первичные сигналы могут быть порождены естественными законами реального мира, например: напряжение на выходе термопары под действием температуры.

Информация, основанная на однозначной связи знаков или сигналов с объектами реального мира, называется семантической или смысловой. Информация, заключенная в характере (порядке и взаимосвязи) следования знаков сообщающей называется синтаксической. Также в общей науке о знаках (семиотики) кроме перечисленных выделяют сигматический и прагматический аспекты информации. В первом случае изучается вопрос о выборе знаков для обозначения объектов реального мира, во втором случае о ценности информации для достижения поставленных целей. Очевидно, что наибольший практический интерес представляют смысловой и семантический и прагматический аспекты. Однако до сих пор не определены объективные количественные критерии меры ценности и полезности информации.

В курсе теории информации изучаются проблемы синтаксического уровня, касающихся создания теоретических основ построения систем связи основные показатели функционирования, которых были бы близки к предельно возможным.

Иначе говоря, рассмотрению подлежат вопросы доставки получателю информации как совокупность из знаков. При этом последовательностью игнорируются смысловое и прагматическое ее содержание. Синтаксическая мера информации имеет практическую ценность потому, что интересующая в конечном итоге получателя семантическая информация заключена в заданной последовательности знаков или первичных сигналов.