- •Основы теории цифровой связи Часть 1 кодирование информации
- •1. Введение
- •1.1. Модель радиотехнической системы связи
- •Контрольные вопросы
- •1.2. Статистическая трактовка процесса передачи информации
- •Контрольные вопросы
- •1.3. Основные понятия и элементы математического аппарата теории связи
- •1.3.1. Сигналы и помехи
- •1.3.2. Разложение сигнала по системе ортогональных функций. Спектр сигнала
- •1.3.3. Cвойства преобразования Фурье
- •1.3.4. Корреляционная функция сигнала
- •1.3.5. Связь между корреляционной функцией и спектром сигнала
- •1.3.6. Случайные сигналы и их характеристики
- •Контрольные вопросы
- •1.4. Источники информации
- •1.5. Теорема дискретизации
- •1.6. Дискретизация изображений
- •Контрольные вопросы
- •1.7. Квантование. Ошибки квантования
- •Контрольные вопросы
- •1.8. Количество информации, содержащейся в сообщении
- •1.8.1. Энтропия сложных сообщений, избыточность источника
- •Контрольные вопросы и задачи
- •2. Основы экономного кодирования информации
- •2.1. Способы представления кодов
- •Контрольные вопросы и задачи
- •2.2. Типы систем сжатия
- •X Квантователь Xq Кодер без потерь информации b (Xq) Декодер X*
- •Методы кодирования без потерь
- •2.3.1. Понятие префиксного множества
- •2.3.2. Алгоритм кодирования Хаффмена
- •2.3.3. Алгоритм Шеннона–Фано
- •2.3.4. Блочные коды
- •2.3.5. Арифметическое кодирование
- •2.3.6. Словарное кодирование. Метод Зива–Лемпеля
- •2.3.7. Кодирование длин повторений (rle)
- •2.3.8. Дифференциальное кодирование
- •Контрольные вопросы и задачи
- •2.4. Методы сжатия с потерей информации
- •2.4.1. Функции “скорость–искажение” и “искажение–скорость”
- •2.5. Сжатие речевых сигналов
- •2.5.1. Кодирование формы сигнала, икм
- •2.5.2. Дифференциальная икм
- •2.5.3. Адаптивная дифференциальная икм (адикм)
- •2.5.4. Дельта-модуляция
- •2.5.5. Другие методы кодирования формы сигнала
- •2.5.6. Кодирование источника
- •2.5.7. Гибридные методы кодирования речи
- •2.5.8. Полноскоростной кодер rpe-ltp (стандарт gsm 06.10)
- •2.5.9. Кодер vselp (стандарт d-amps)
- •Контрольные вопросы и задачи
- •2.6. Кодирование изображений. Стандарт сжатия jpeg
- •Процедуру дкп можно записать в матричной форме:
- •2.6.1. Рекурсивный (вэйвлет) алгоритм
- •2.7. Сжатие подвижных изображений (видео)
- •3. Основы помехоустойчивого кодирования
- •3.1. Основные принципы. Типы кодов
- •3.2. Линейные блочные коды
- •3.2.1. Код с проверкой на четность
- •3.2.2. Итеративный код
- •3.2.3. Порождающая матрица линейного блочного кода
- •3.2.4. Проверочная матрица
- •3.2.5. Дуальные коды
- •3.2.6. Синдром и обнаружение ошибок
- •3.2.7. Синдромное декодирование линейных блочных кодов
- •3.2.8. Мажоритарное декодирование линейных блочных кодов
- •3.2.9. Декодирование методом максимального правдоподобия
- •Поскольку
- •Если принятый сигнал дискретизован и Si – I-й отсчет принятого сигнала.
- •3.2.10. Вес и расстояние Хемминга. Способность кодов обнаруживать и исправлять ошибки
- •Контрольные вопросы и задачи
- •3.3. Полиномиальные коды
- •3.3.1. Циклические коды
- •3.3.2. Кодирование с использованием циклических кодов
- •3.3.3. Вычисление синдрома и исправление ошибок в циклических кодах
- •3.3.4. Неалгебраические методы декодирования циклических кодов
- •3.4. Сверточные коды
- •3.4.1. Кодирование с использованием сверточных кодов
- •3.4.2. Синдромное декодирование сверточных кодов
- •3.4.3. Кодовое дерево и решетчатая диаграмма
- •3.4.4. Декодирование сверточных кодов. Алгоритм Витерби
- •3.4.5. Алгоритмы поиска по решетке
- •Контрольные вопросы и задачи
- •3.5. Применение корректирующего кодирования в системах связи
- •3.5.1. Каскадные коды
- •3.5.2. Кодирование с перемежением
- •Библиографический список
- •Часть 1 1
Контрольные вопросы
Назначение систем передачи информации.
Для чего в системах связи используются радиосигналы?
Что такое информация (определение Шеннона)?
Суть передачи и приема информации (по Шеннону).
Изобразите структурную схему обобщенной модели РТС ПИ.
Что такое “источник информации”?
Что такое “сообщение источника”?
Назначение кодера/декодера источника в системе связи.
Как изменятся свойства системы связи, если из модели исключить кодер/декодер источника?
Назначение кодера/декодера канала в системе связи.
Как изменятся качественные показатели системы связи, если из модели исключить кодер/декодер канала?
Что такое “модуляция”? Функции модулятора в системе связи.
Можно ли передавать информацию по радиоканалу связи без использования модуляции?
1.2. Статистическая трактовка процесса передачи информации
Рассмотрим передачу и прием некоторого элементарного сообщения . В процессе передачи-приема сообщений различают два состояния: априорное (доопытное) и апостериорное (послеопытное). Априорным называется состояние, в котором находится получатель до того, как будет передано сообщение. Апостериорное состояние – это состояние, в котором будет находиться получатель после того, как сообщение передано и на приемной стороне сформирована оценка этого сообщения *. Сведения, которыми располагает получатель до и после передачи сообщения, называют соответственно априорными и апостериорными.
В априорном состоянии получатель знает, что будет создано сообщение , которое может принять одно из m заранее известных значений 1, 2,…, m. Какое именно значение из множества {1, 2,…, m} примет сообщение, получатель не знает. Это предположение является принципиальным. Действительно, если бы получатель заранее знал, какое сообщение будет передано, не имело бы смысла передавать это сообщение по каналу связи: ничего нового при получении сообщения он бы не узнал. Иначе говоря, ИНФОРМАЦИЯ при этом не передавалась бы.
Таким образом, формирование сообщения источником и его передача представляют собой типичный статистический (случайный) эксперимент, множеством исходов которого является множество элементарных сообщений {1, 2,…, m}. Доопытные вероятности различных сообщений обычно известны. Так, например, если элементарные сообщения – это буквы русского текста, то Р(i) – вероятности различных букв в тексте. Эти вероятности легко посчитать еще до передачи, взяв какой-либо типовой достаточно длинный текст. Такая работа была выполнена специалистами по математической лингвистике. В качестве русского текста был выбран роман Л.Н. Толстого “Война и мир”. Вероятность буквы “е” при этом составила Р(е) = 0,110, вероятность буквы “о” Р(о) = 0,087, буквы “ф” Р(ф) = 0,002 и т.д.
Итак, работа источника сообщений по существу представляет собой случайный эксперимент, а получателю в априорном состоянии известен закон распределения вероятностей различных исходов этого эксперимента, или последовательность случайных величин.
Теперь предположим, что было передано сообщение и получена оценка *. После передачи сообщения, то есть в апостериорном состоянии, получатель все-таки не может быть уверен, что полученная им оценка * совпадет с переданным сообщением . Из-за наличия помех в канале связи принимаемый сигнал, а следовательно, и получаемая по нему оценка * имеют случайный характер.
Таким образом, в целом передача и прием сообщений в системе связи представляют собой сложный случайный эксперимент с двумя статистически связанными исходами и *. А это говорит о целесообразности изучения проблем связи статистическими методами. Соответственно основным аппаратом теории связи являются теория вероятностей, математическая статистика и теория случайных процессов.
Одной из основных и принципиальных проблем, возникающих при передаче сообщений, является то, что помехи, всегда присутствующие в канале связи, затрудняют, а иногда делают невозможным воспроизведение передаваемых сообщений на приемной стороне. Поэтому в теории связи уделяется очень большое внимание решению вопросов, связанных с преодолением этих трудностей. Их можно определить следующим образом:
Выбор модели явлений (модели сообщений, сигналов, помех, модели линии связи и т.д.) и критериев качества передачи информации.
Выбор способа кодирования сообщений и их преобразования в радиосигнал (модуляции), обеспечивающих наилучшую передачу этих сообщений.
Синтез оптимальной приемной системы, то есть определение оптимального (по выбранному критерию качества) алгоритма формирования оценки * по принятому сигналу.
Количественная оценка потенциальных и реальных возможностей качества передачи информации с учетом воздействия помех.
Исторически
сложилось так,
что этот круг вопросов решался на базе
двух независимо возникших и развивавшихся
научных направлений. Первое направление
– это теория оптимальных методов приема,
которая включает в себя теорию
статистических решений, теорию оценивания
параметров сигнала и теорию оптимальной
фильтрации сигналов. Основоположником
данного направления является В.А.
Котельников. В его работе “Теория
потенциальной помехоустойчивости”
(1946 г.) к задачам
связи
были
впервые
последовательно
В.А. Котельников применены методы теории вероятностей матема-
тической статистики и получен ряд принципиально важных результатов. Сравнительная простота математического аппарата, многообразие ситуаций, поддающихся с его помощью анализу, практическая ценность получаемых решений привели к тому, что теория оптимальных методов приема на долгие годы стала основным рабочим инструментом инженеров и ученых, специализирующихся в теории и разработке систем связи. Значительный вклад в развитие данного направления внесли такие отечественные и зарубежные ученые, как Р.Л. Стратонович, А.Е. Башаринов, Я.Д. Ширман, Б.Р. Левин, Ф. Вудворд, Д. Миддлтон, а также профессор Фалькович Савелий Еремеевич, долгие годы работавший в нашем институте.
Второе научное направление – теория информации, основы которой разработаны К. Шенноном (1948 г.), также базируется на теории вероятностей. Вместе с тем идеи и аппарат теории информации достаточно оригинальны как в научном, так и в практическом смысле. Введенные Шенноном понятия количества информации, энтропии и пропускной способности канала связи нашли широкое С.Е. Фалькович
применение не только в теории связи, но и в смежных областях. Теория информации доказывает принципиальную возможность построения весьма совершенных по своим параметрам систем связи, обеспечивающих высокую скорость передачи при минимальном количестве ошибок.
В настоящее время теория информации основное внимание сосредотачивает на проблемах кодирования сообщений. В последние 10–15 лет этому вопросу при построении современных систем связи уделяется исключительно большое внимание. Это связано с катастрофическим ростом объемов и скоростей передачи информации по каналам связи, что требует поиска методов ее эффективного сжатия. В этом плане методы теории информации оказываются практически очень полезными.
В
данном курсе будут использоваться
результаты как одного, так и второго
направлений. При этом, как это обычно
принято, вопросы, связанные с кодированием
источников информации, будут рассматриваться
с позиций информационной теории К.
Шеннона, те же вопросы, которые касаются
передачи и организации приема сигналов,
передаваемых по каналам с помехами
с позиций теории оптимального приема
сигналов.
