Министерство образования и науки, молодёжи и спорта украины

Одесский национальный политехнический университет

Институт компьютерных систем

Кафедра информационных систем

Теория информации и кодирование Конспект лекций для студентов института компьютерных систем (направление подготовки 6.050101 «Компьютерные науки »)

Одесса

ОНПУ

2012

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ, МОЛОДЁЖИ И СПОРТА УКРАИНЫ

Одесский национальный политехнический университет

Институт компьютерных систем

Кафедра информационных систем

Теория информации и кодирование Конспект лекций для студентов института компьютерных систем (направление подготовки 6.050101 «Компьютерные науки »)

Утверждено на заседании кафедры информационных систем Протокол №XXX від XXX

Одесса

ОНПУ

2012

Конспект лекций по дисциплине " Теория информации и кодирование " разработанный для студентов института компьютерных систем уровня подготовки - бакалавр, направление подготовки 6.050101 «Компьютерные науки ». /

А.И.Неврев - Одесса: ОНПУ, хххх. - хххс. . . Разработчик: А.И.Неврев , к. т. н., старший

преподаватель.

Содержание

Тема 1. Предмет теории информации и количественная мера информации

Лекция 1

1.1 Понятие информации

1.2 Этапы обращения информации

1.3 Система передачи информации

1.4 Задачи и постулаты прикладной теории информации

1.5. Количественная оценка информации дискретного источника.

Энтропия

1.6 Фундаментальные свойства энтропии

Тема 2. Основные виды энтропии дискретных источников. Условная и взаимная энтропии

Лекция 2

2.1 Условная энтропия

2.2 Основные свойства условной энтропии

2.3 Взаимная энтропия. Свойства энтропии объединения

Тема 3. Эффективное кодирование источника дискретных сообщений в канале без помех

Лекция 3

3.1 Эффективное кодирование источника дискретных случайных сообщений.

3.2 Избыточность информации, причины ее появления

3.3 Способы сокращения избыточности

3.4 Теорема Шеннона для канала без помех

Лекция 4

4.1 Общие понятия и элементы теории кодирования

определения

4.2 Цели кодирования

4.3 Оптимальные неравномерные коды

4.4 Коды Шеннона-Фэно

4.5 Коды Хаффмена

4.6 Особенности эффективных кодов

Тема 4. Кодирование источника дискретных сообщений в канале с помехами. Общие принципы помехоустойчивого кодирования

Лекция 5

5.1 Кодирование информации для канала с помехами. Теорема Шеннона для канала с помехами

5.2 Общие принципы использования избыточности

5.3 Связь корректирующей способности кода с кодовым расстоянием

Лекция 6.

6.1 Корректирующие свойства кодов с избыточностью

6.2 Классификация корректирующих кодов

Тема 5. Регулярные методы построения двоичных помехоустойчивых кодов

Лекция 7

7.1 Линейные коды. Общие медоды построения

7.2 Определение числа добавочных разрядов

7.3 Построение образующей(порождающей) матрицы |

7.4 Порядок кодирования

7.5 Порядок декодирования

7.6 Систематические коды. Код Хэмминга

7.7 Обнаружение и исправление ошибок в коде Хэмминга

Лекция 8

8.1 Двоичные циклические коды

8.2 Некоторые свойства циклических кодов

8.3 Матричное описание циклических кодов

8.4 Выбор образующего полинома

8.5 Декодирование циклических кодов

Тема 6. Построение кодов заданой помехоустойчивости. Применение недвоичных помехоустойчивых кодов

Лекция 9

9.1 Матричное описание циклических кодов.

9.2 Коды Боуза — Чоудхури — Хоквингема (БЧХ)

9.3 Систематический вид циклического кода

9.4 Коды Рида–Соломона и их применение

9.5 Циклический избыточный код CRC

Тема 7. Информационные характеристики источников непрерывных сообщений. Источники с максимальной энтропией. Максимальная пропускающая способность канала связи с помехами

Лекция 10

10.1 Информационные характеристики источников непрерывных сообщений

10.2 Энтропия равномерного закона распределения

10.3 Энтропия гауссового закона распределения.

Лекция 11

11.1 Пропускная способность канала связи с помехами для непрерывных сообщений

Тема 8. Методы кодирования информации со сжатием

Лекция 12

12.1 Подстановочные или словарно-ориентированные алгоритмы сжатия информации. Методы Лемпела-Зива

12.2 LZ-алгоритмы упаковки данных :LZ77

12.3 LZ-алгоритмы упаковки данных :LZ78

Лекция 13

13.1 Описание алгоритма сжатия LZW

13.2 Применение LZ-алгоритмов упаковки данных

Лекция 14

14.1 Кодирование длин повторений

14.2 Дифференциальное кодирование

Тема 9. Методы кодирования со сжатием и с потерями информации

Лекция 15

15.1 Методы сжатия с потерей информации

15.2 Точность. Помехи и искажения. Приближенное восстановление

15.3 Кодирование преобразований. Стандарт сжатия JPEG

Тема 10. Методы кодирования физических сигналов в компьютерных сетях

Лекция 16

16.1 Кодирование на физическом уровне 16.2 Самонихронизирующиеся коды - коды RZ и Манчестер-II

16.3 Несамосинхронизирующиеся коды. - код NRZ

16.4 Высокоскоростные коды - код MLT-3 и PAM 5

16.5 Требуемая полоса частот для передачи данных и ширина спектра сигнала

Тема 1. Предмет теории информации и количественная мера информации.

Лекция 1

1.1 Понятие информации.

Теория информации является одним из курсов при подготовке специалистов информационных систем, автоматизированных систем управления и обработки информации. Функционирование таких систем существенно связано с получением, подготовкой, передачей, хранением и обработкой информации, поскольку без осуществления этих этапов невозможно принять правильное решение и осуществить требуемое управляющее воздействие, которое является конечной целью функционирования любой системы.

Возникновение теории информации связывают обычно с появлением фундаментальной работы американского ученого К. Шеннона «Математическая теория связи» (1948). Однако в теорию информации органически вошли и результаты, полученные другими учеными. Например, Р. Хартли, впервые предложил количественную меру информации (1928), советский академик В. А. Котельников, сформулировал важнейшую теорему о возможности представления непрерывной функции совокупностью ее значений в отдельных точках отсчета (1933) и разработал оптимальные методы приема сигналов на фоне помех.

К теории информации, в ее классической постановке, относят следующие вопросы:

I-анализ вопросов оценки "количества информации".

II- анализ информационных характеристик источников сообщений и каналов связи,

III- обоснование принципиальной возможности кодирования и декодирования сообщений.

IV- определение потенциальных характеристик скорости передачи сообщений по каналу связи, как при отсутствии, так и при наличии помех.

Если рассматривают проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или прикладной теорией информации.

Попытки широкого использования идей теории информации в различных областях науки связаны с тем, что в основе своей эта теория математическая. Основные ее понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть приписано самое различное физическое содержание. Подход к исследованиям в других областях науки с позиций использования основных идей теории информации получил название теоретико-информационного подхода. Его применение в ряде случаев позволило получить новые теоретические результаты и ценные практические рекомендации. Однако нередко такой подход приводит к созданию моделей процессов, далеко не адекватных реальной действительности. Поэтому в любых исследованиях, выходящих за рамки чисто технических проблем передачи и хранения сообщений, теорией информации следует пользоваться с большой осторожностью. Особенно это касается моделирования умственной деятельности человека, процессов восприятия, оценки и обработки им информации.

Содержание конспекта лекций ограничивается рассмотрением вопросов теории и практики кодирования в ее узком техническом смысле.

Понятие информации.

Что такое информация? С начала 1950-х годов предпринимаются попытки использовать понятие информации (не имеющее до настоящего времени единого определения) для объяснения и описания самых разнообразных явлений и процессов.

В некоторых учебниках дается следующее определение информации:

Информация - это совокупность сведении, подлежащих хранению, передаче, обработке.

Такое определение помогает хотя бы смутно представить, о чем идет речь. Но с точки зрения логики оно бессмысленно. Определяемое понятие (информация) здесь подменяется другим понятием (совокупность сведений), которое само нуждается в определении.

При всех различиях в трактовке понятия информации, бесспорно, то, что проявляется информация всегда в материально-энергетической форме в виде сигналов при передаче, приеме и хранении данных.