- •Д.Е. Турчин
- •Лабораторный практикум
- •Кемерово 2013
- •Описание лабораторного практикума
- •1.2.2. Понятие кода и кодирования. Моделирование дискретных источников сообщений без памяти
- •1.3. Порядок выполнения работы
- •1.4. Контрольные вопросы
- •Марковские источники сообщений.
- •Эффективность, избыточность и производительность источника сообщений.
- •Кодовые деревья и префиксные коды.
- •2.3. Порядок выполнения работы
- •2.4. Контрольные вопросы
- •3.2.2. Пропускная способность дискретного канала связи. Кодеры и декодеры канала связи. Код с битом четности Пропускная способность дискретного канала связи.
- •Кодер и декодер канала связи. Код с битом четности.
- •3.3. Порядок выполнения работы
- •3.4. Контрольные вопросы
- •Метод Шеннона-Фано.
- •4.2.2. Методы кодирования источников сообщений по Хаффману Кодирование дискретного источника сообщений без памяти по Хаффману.
- •4.3. Порядок выполнения работы
- •4.4. Контрольные вопросы
- •Декодирование арифметического кода.
- •5.2.2. Метод адаптивного арифметического кодирования и его программная реализация
- •5.3. Порядок выполнения работы
- •5.4. Контрольные вопросы
- •6. Сжатие информации методами Лемпела-Зива
- •6.1. Цель работы
- •6.2. Основные теоретические сведения
- •Код Хэмминга.
- •7.2.2. Расширенный код Хэмминга. Программная реализация кода Хэмминга Расширенный код Хэмминга.
- •7.3. Порядок выполнения работы
- •7.5. Контрольные вопросы
- •8. Построение и декодирование линейных блоковых кодов
- •8.1. Цель работы
- •8.2. Основные теоретические сведения
- •8.3. Порядок выполнения работы
- •8.4. Контрольные вопросы
- •Приложение п.1. Понятие события и его вероятности. Теоремы сложения и умножения вероятностей Понятие события и вероятности события. Непосредственный подсчет вероятностей.
- •Теорема сложения вероятностей.
- •Теорема умножения вероятностей.
- •П.2. Данные для расчета энтропии и количества информации
- •П.3. Матрицы и операции над ними п.4. Многочлены и операции над ними
- •П.5. Вопросы к экзамену
П.3. Матрицы и операции над ними п.4. Многочлены и операции над ними
Таблица П.3.
Таблица минимальных неприводимых в поле GF(2) многочленов
П.5. Вопросы к экзамену
Предметная область теории информации и ее связь с другими науками
Понятия информации и неопределенности. Свойства информации
Понятие сигнала, сообщения, данных, знания
Система передачи информации, ее основные элементы
Количественная оценка информации. Количество информации и вероятность
Энтропия дискретного источника сообщений без памяти. Формула Шеннона
Математические свойства энтропии дискретных сообщений
Понятие о цепях Маркова. Марковские источники сообщений
Статистически связанные источники. Условная энтропия и ее свойства
Объединение источников. Энтропия объединения и ее свойства
Взаимная информация и ее свойства.
Эффективность, избыточность и производительность источников сообщений
Виды каналов связи. Дискретные каналы связи без памяти
Пропускная способность дискретного канала связи без памяти
Равномерные и неравномерные коды. Методы сжатия информации
Кодовые деревья. Неравенство Крафта
Эффективное кодирование. Теорема Шеннона о кодировании источников
Метод Шеннона-Фано
Метод Хаффмана
Метод арифметического кодирования
Декодирование арифметического кода
Помехоустойчивое кодирование. Теорема Шеннона о кодировании каналов
Классификация помехоустойчивых кодов
Особенности и характеристики блоковых корректирующих кодов
Математическое описание линейных блоковых кодов
Пространство Хэмминга. Границы для параметров линейных блоковых кодов
Коды Хэмминга. Расширенный код Хэмминга
Порождающие матрицы линейных блоковых кодов
Проверочные матрицы линейных блоковых кодов
Декодирование линейных блоковых кодов
Понятие циклического кода. Многочлены и операции над ними
Математическое описание циклических кодов
Порождающий и проверочный многочлены циклических кодов
Декодирование циклических кодов
1 Название дано в честь русского математика А.А. Маркова (1856 – 1922 гг.), разработавшего теорию данного класса случайных процессов.