3.8. Помехоустойчивое кодирование 96

3.8.1. Классификация кодов 97

3.8.2. Простейшие модели цифровых каналов связи с помехами 99

3.8.3. Расчет вероятности искажения кодового слова в ДСМК 100

3.8.4. Общие принципы использования избыточности 100

3.8.5. Граница Хэмминга 104

3.8.6. Избыточность помехоустойчивых кодов 104

3.8.7. Математическое введение к алгебраическим кодам 105

3.8.8. Линейные коды 107

3.8.9. Упрощённый способ построения линейного кода 108

3.8.10. Двоичные циклические коды 113

3.8.11. Некоторые свойства циклических кодов 117

3.8.12. Построение кода с заданной корректирующей способностью 120

3.8.13. Матричное описание циклических кодов 120

3.8.14. Выбор образующего полинома 121

4.1. Виды каналов передачи информации 123

4.2. Разделение каналов связи 124

4.2.1. Частотное разделение 124

4.2.2. Временное разделение 125

4.2.3. Кодовое разделение 125

4.2.4. Разделение по уровню 125

4.2.5. Корреляционное разделение 126

4.2.6. Комбинированные методы разделения 127

4.3. Пропускная способность каналов связи 128

4.4. Пропускная способность дискретного канала связи с шумом 130

4.4.1. Типичные последовательности и их свойства 133

4.4.2. Основная теорема Шеннона для дискретного канала с шумом 134

4.4.3. Обсуждение основной теоремы Шеннона для канала с шумом 138

4.5. Пропускная способность непрерывного канала при наличии аддитивного шума 139

Литература 142

Приложение 1. Таблица неприводимых полиномов 144

Учебно-лабораторный практикум 147

Лабораторная работа 1: Исследование информативности источников дискретных сообщений. 147

Теоретическое введение 147

Возможный план выполнения работы с использованием табличного процессора Excel 150

Шаг 1. Поиск в Интернете текстов с суммарным объемом от около 10 тысяч символов на каждом из двух языках согласно варианту задания. 150

Шаг 2. Ввод текстовых файлов в Excel-таблицу с разбиением каждой строки текста на отдельные символы. 152

Шаг 3. Используя инструмент «гистограмма» пакета анализа надстройки Анализ данных, находим частоты появления каждого символа в текстах и по ним находим вероятности их появления в данном языке. 155

Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения. 160

Шаг 5. Находим абсолютную и относительную избыточности источника сообщений на заданных языках, сравнить эти языки по степени избыточности написанных на них текстов без учета и с учетом статистических связей между соседними буквами если размер алфавита языка позволил его произвести. 163

Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации 164

Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста. 164

Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты. 164

Шаг 9. Сдайте или отослать по электронной почте (alexm5@fromru.com) отчет на проверку преподавателю. 165

Шаг 10. Защитите лабораторную работу у преподавателя. 165

Варианты задания 165

Результаты работы 166

Сдача работы 166

Вопросы для самопроверки 166

Литература 167

Приложение 1: Пример оформления титульного листа 168

Приложение 2: Порядок создания нестандартных функций при использовании табличного процессора Excel 169

Введение 169

Подключение возможности использования нестандартных функций. 169

Создание нестандартной функции 171

Приложение 3: Описание функции ВПР 176

Лабораторная работа 2. Исследование методов дискретизации непрерывных сообщений по времени 177

Теоретическое введение. 177

Последовательность выполнения практической части работы 179

1. Знакомство с программой Wavosaur для записи и обработки звука. 179

2. Подключите к компьютеру головную гарнитуру (головной телефон и микрофон, рис. 2, слева) и нажмите кнопку Monitor input with vu meter, указанную на рис. 2 справа синей стрелкой. 180

3. Запись голоса и подготовка сигнала. 181

4. Импорт текстовых данных в Excel 190

Результаты работы 203

Литература 203

Вопросы для самопроверки 204

Иллюстрация к порядку вычисления ряда Найквиста-Котельникова 204

Лабораторная работа 3. Исследование оптимального квантования непрерывных сообщений по уровню. 205

Теоретическое введение. 205

Возможный вариант выполнения работы 211

Результаты работы 219

Литература 219

Вопросы для самопроверки 219

Лабораторная работа 4. Исследование оптимальных (в смысле минимальной средней длины кодового слова) кодов на примере кодов Шеннона-Фэно и Хаффмена. 220

Теоретическое введение. 220

Коды Хаффмена 220

Коды Шеннона−Фэно 221

Параметры эффективности оптимальных кодов 225

Особенности эффективных кодов. 226

Выполнение работы 227

Результаты работы 232

Литература 232

Вопросы для самопроверки 232

Лабораторная работа 5. Исследование кодов, обнаруживающих и исправляющих ошибки на примере линейного кода, исправляющего однократные ошибки. 233

Теоретическое введение. 233

Выполнение работы 240

Результаты работы 249

Литература 249

Вопросы для самопроверки 249