- •В. И. Дмитриев
- •Глава 1 Математические модели сигналов…………………………………………...19
- •Глава 1 математические модели сигналов
- •§ 1.1. Понятия сигнала и его модели
- •§ 1.2. Формы представления детерминированных сигналов
- •§ 1.3. Временная форма представления сигнала
- •§ 1.4. Частотная форма представления сигнала
- •§ 1.5. Соотношения между длительностью импульсов и шириной их спектров
- •§ 1.6. Спектральная плотность мощности детерминированного сигнала
- •§ 1.7. Функция автокорреляции детерминированного сигнала
- •§ 1.8. Случайный процесс как модель сигнала
- •§ 1.9. Стационарные и эргодические случайные процессы
- •§ 1.10. Спектральное представление случайных сигналов
- •§ 1.11. Частотное представление стационарных
- •Глава 2. Преобразование непрерывных сигналов в дискретные
- •§ 2.1. Преимущества цифровой формы представления сигналов
- •§ 2.2. Общая постановка задачи дискретизации
- •Воспроизводящая функция представляется аппроксимирующим полиномом
- •§ 2.3. Способы восстановления непрерывного сигнала
- •§ 2.4. Критерии качества восстановления
- •§ 2.5. Методы дискретизации посредством выборок
- •§ 2.6. Равномерная дискретизация. Теорема котельникова
- •§ 2.7. Теоретические и практические аспекты использования теоремы котельникова
- •§ 2.8. Дискретизация по критерию наибольшего отклонения
- •Оценка снизу для остаточного члена имеет вид
- •§ 2.9. Адаптивная дискретизация
- •Момент очередного отсчета определяется выполнением равенства
- •§ 2.10. Квантование сигналов
- •§ 2.11. Квантование сигналов при наличии помех
- •§ 2.12. Геометрическая форма представления сигналов
- •Контрольные вопросы
- •Глава 3. Количественная оценка информации
- •§ 3.1. Энтропия как мера неопределенности выбора
- •§ 3.2 Свойства энтропии
- •§ 3.3. Условная энтропия и ее свойства
- •§ 3.4. Энтропия непрерывного источника информации (дифференциальная энтропия)
- •§ 3.5. Свойства дифференциальной энтропии
- •§ 3.6. Количество информации как мера снятой неопределенности
- •§ 3.7. Эпсилон-энтропия случайной величины
- •Контрольные вопросы
- •Глава 4. Информационные характеристики источника сообщений и канала связи
- •§ 4.1. Основные понятия и определения
- •§ 4.2. Информационные характеристики источника дискретных сообщений
- •§ 4.3 Информационные характеристики дискретных каналов связи
- •§ 4.4. Информационные характеристики источника непрерывных сообщений
- •§ 4.5. Информационные характеристики непрерывных каналов связи
- •§ 4.6. Согласование физических характеристик сигнала и канала
- •§ 4.7. Согласование статистических свойств источника сообщений и канала связи
- •Глава 5. Кодирование информации при передаче по дискретному каналу без помех
- •§ 5.1. Кодирование как процесс выражения информации в цифровом виде
- •111 100 101
- •§ 5.2. Технические средства представления информации в цифровой форме
- •§ 5.3. Кодирование как средство криптографического закрытия информации
- •§ 5.4. Эффективное кодирование
- •§ 5.5. Технические средства кодирования
- •Глава 6. Кодирование информации при передаче
- •§ 6.1. Основная теорема шеннона о кодировании
- •§ 6.2. Разновидности помехоустойчивых кодов
- •§ 6.3. Блоковые коды
- •§ 6.4. Построение двоичного группового кода
- •0...01001, 0...01010, 0...01100.
- •§ 6.5. Технические средства кодирования и декодирования для групповых кодов
- •§ 6.6. Построение циклических кодов
- •§ 6.7. Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности
- •§ 6.8 Технические средства кодирования и декодирования для циклических кодов
- •Остатки Векторы ошибок Опознаватели
- •Остатки Векторы ошибок Остатки
- •§ 6.9. Коды боуза — чоудхури — хоквингема
- •§ 6.10. Итеративные коды
- •Число ошибок такого вида в4 для блока изlхn символов равно
- •§ 6.11 Сверточные коды
- •Контрольные вопросы
- •Заключение
- •Список литературы
- •Приложения
Контрольные вопросы
1. Сформулируйте и поясните основную теорему Шеннона о кодировании для канала с помехами.
2. Какова причина целесообразности кодирования длинных последовательностей символов?
3. Какие коды называют помехоустойчивыми?
4. За счет чего помехоустойчивый код получает способность обнаруживать и исправлять ошибки?
5. Охарактеризуйте блоковые и непрерывные, разделимые и неразделимые помехоустойчивые коды.
6. Что подразумевают под кратностью ошибки?
7. Как определяется минимальное кодовое расстояние?
8. Запишите соотношения, связывающие минимальное кодовое расстояние с числом обнаруживаемых и исправляемых ошибок.
9. Назовите основные показатели качества корректирующего кода.
10. Дайте определение понятий группы, подгруппы, смежного класса.
11. В чем различие понятий кольца и поля?
12. Как определяется линейное векторное пространство?
13. Какой помехоустойчивый код называют линейным?
14. Что понимают под вектором ошибки?
15. Что такое опознаватель ошибки?
16. Как составляется таблица опознавателей для конкретной совокупности корректируемых векторов ошибок?
17. Как по таблице опознавателей записать равенства, в соответствии с которыми определяются значения проверочных разрядов?
18. В чем сущность мажоритарного декодирования?
19. Дайте определение порождающей матрицы кода.
20. Какой код называют систематическим?
21. Как построить проверочную матрицу кода?
22. Каким требованиям должен удовлетворять образующий многочлен циклического кода?
23. Дайте определение понятий идеала в кольце и класса вычетов по идеалу.
24. Как находят опознаватели ошибок в случае циклического кода?
25. Что такое выделенный синдром?
26. Какие устройства составляют основу технической реализации циклических кодов?
27. Нарисуйте схему кодирующего устройства циклического кода и поясните ее работу.
28. Поясните процесс декодирования циклического кода.
29. Определите поле классов вычетов по модулю образующего многочлена.
30. Какой элемент поля классов вычетов называется примитивным?
31. Как распределяются корни двучлена хn+1 по составляющим неприводимым многочленам?
32. Как выбрать образующий многочлен кода Боуза — Чоудхури — Хоквингема?
33. В чем заключается методика декодирования кодов Боуза — Чоудхури — Хоквингема?
34. Какими характерными особенностями обладают итеративные коды?
35. Объясните процедуру исправления пачки ошибок кодом, используемым в накопителях на магнитной ленте.
36. Назовите условие правильного исправления ошибок при применении рекуррентного кода?
Заключение
Изложенные в учебнике идеи и методы теории информации представляют интерес не только в плане решения задач, связанных с передачей и хранением информации. Теоретико-информационный подход приобрел значение метода исследования, позволяющего качественно и количественно сопоставлять специфические характеристики конкретных устройств и систем независимо от их физической сущности.
С использованием теоретико-информационных представлений построены новые более общие модели известных явлений и решен ряд практически важных задач в таких областях, которые при создании теории информации не принимались во внимание.
Можно отметить, например, такие задачи, как определение общей оценки качества измерения быстроизменяющихся величин (проблему динамической погрешности) в измерительной технике, информационная трактовка процессов стабилизации, отработка управляющих воздействий и адаптация в технике автоматического управления, разработка оптимальных алгоритмов поиска неисправностей в технике автоматического контроля, освещение информационных аспектов процессов естественного отбора и наследственности, включая вопросы помехоустойчивого кодирования генетической информации в биологии, выявление информационной сущности механизма возникновения эмоций в психологии и т. п.
Широкое проникновение идей и методов теории информации в различные области науки и техники вполне естественно, поскольку информация является характеристикой такого всеобщего свойства материи, как разнообразие.
В свою очередь, различные приложения теории способствуют ее дальнейшему развитию, например, в направлении учета ценности информации и других аспектах.
Следует ожидать, что идеи и методы теории информации будут успешно использоваться и в дальнейшем, особенно при создании сложных систем, объединяющих различные по целям, функциям и даже физическому воплощению подсистемы.