- •Тема 1. Предмет и методы теории информации и кодирования
- •1.1. Введение
- •1.2. Основные понятия и определения
- •1.3. Системы передачи информации
- •Тема 2. Математическая теория информации
- •2.1. Количество информации, и ее мера
- •2.2. Свойства количества информации
- •2.3. Энтропия информации
- •5.2. График энтропии для двух альтернативных событий
- •2.4. Свойства энтропии сообщений
- •2.5. Безусловная энтропия и ее свойства
- •2.6. Условная энтропия.
- •2.5. Энтропия объединения
- •Энтропия объединения (совместная энтропия) находится при помощи матрицы ( табл.3) путем суммирования по строкам или столбцам всех вероятностей вида
- •Уяснению взаимосвязи между рассмотренными видами энтропий дискретных систем способствует их графическое изображение.
- •Тема 3. Основы теории кодирования
- •3.1.Основные понятия и определения
- •3.2. Классификация кодов
- •3.3. Способы представления кодов
- •Тема 4. Каналы связи
- •4.1. Каналы связи, их классификация и характеристики
- •Пропускная способность дискретного канала связи
- •Дискретный канал связи без помех
- •Дискретный канал связи с помехами
- •Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:
- •Пропускная способность бинарного, симметричного канала
- •Избыточность сообщений
- •Тема 5. Оптимальное кодирование
- •5.1. Основные понятия и определения
- •5.2. Код Шеннона-Фано
- •5.3. Код Хаффмена
- •Тема 6. Помехоустойчивое кодирование
- •6.1. Общие положения
- •6.2. Обнаруживающие коды
- •Тема 7. Корректирующие коды
- •7.1. Основные понятия
- •7.2 Линейные групповые коды
- •7.3. Код хэмминга
- •Тема 8. Циклические коды
- •8.1. Операции над циклическими кодами
- •8.2. Циклические коды, исправляющие одиночную ошибку
- •Если задана длина кодовой комбинации, то число контрольных разрядов определяем по формуле
- •Так как частное q(X) имеет такую же степень, как и кодовая комбинация g(X) , то q(X) является кодовой комбинацией того же k - значного кода.
- •8.3. Матричная запись циклического кода
- •8.4. Циклические коды, обнаруживающие трехкратные ошибки
- •Тема 9. Коды боуза-чоудхури- хоквингема
- •Сигнальные символы это вспомогательные данные, облегчающие декодирование: служебные сигналы, сигналы синхронизации и т. Д.
- •Тема 10. Введение в криптологию
- •0 1 2 3 4 5 6 7 8 9 25 Ключ
- •4 7 9 2 3 5 1 6 8 Ключ
- •Функция дискретного логарифма обратная
Тема 6. Помехоустойчивое кодирование
6.1. Общие положения
Любая система передачи информации характеризуется такими показателями как помехоустойчивость, эффективность и надежность.
Помехоустойчивость- способность системы осуществлять прием информации в условиях наличия помех в линии связи и искажений во внутриаппаратных трактах. Помехоустойчивость обеспечивает надежность и достоверность передаваемой информации (данных).
Передача данных в вычислительных системах чувствительна к малой доле ошибке, т. к. одиночная ошибка может существенно нарушить процесс вычислений. Наиболее часто ошибки появляются в УВВ, шинах, устройствах памяти. УВВ содержат большое количество элементов, ошибки обусловлены старением элементов, ухудшением качества электрических соединений, расфазировкой сигналов.
В системах со многими пользователями и разделением по времени длинные двоичные сообщения разделяются на пакеты.
Сообщения, представленные длинными последовательностями битов, обычно разбиваются на более короткие последовательности битов, называемые пакетами. Пакеты можно передать по сети как независимые объекты и собирать из них сообщение на конечном пункте. Пакет, снабженный именем и управляющими битами в начале и в конце, называется кадром. Управление линией передачи данных осуществляется по специальному алгоритму, называемому протоколом.
При анализе информационных систем различают помехоустойчивость системы к ложным срабатываниям от помех в линии связи в тот момент, когда информация не передается (статическая помехоустойчивость) и способность системы выделять сигналы из шумов (динамическая помехоустойчивость). Статическую помехоустойчивость повышают увеличением количества импульсов на сообщение, усложнением кодов и увеличением числа качественных признаков. Кроме того, иногда вводят специальную стартовую комбинацию, которая открывает вход приемного устройства на время принятия сообщения. Стартовая комбинация обычно намного сложнее обычной комбинации. Динамическая помехоустойчивость повышается удлинением элементарного сигнала, упрощением кода и уменьшением числа импульсов на сообщение. В общем случае, можно сказать, статическая помехоустойчивость повышается за счет увеличения избыточности, однако, при этом снижается скорость передачи.
Для защиты информации от помех необходимо вводить в том или ином виде избыточность: повышение мощности сигнала; повторение сообщений; увеличение длины кодовой комбинации и т. д. Наличие помех ставит дополнительные требования к методам кодирования.
Увеличение мощности сигналов приводит к усложнению и удорожанию аппаратуры, кроме того, в некоторых системах передачи информации имеется ограничение на передаваемую мощность, например, спутниковая связь.
Повторная передача сообщений требует наличия буферов для хранения информации и наличия обратной связи для подтверждения достоверности переданной информации. При этом, значительно падает скорость передачи информации, кроме того этот метод не всегда может быть использован, например, в системах реального времени.
Одним из наиболее эффективных методов повышения достоверности и надежности передачи данных является помехоустойчивое кодирование, позволяющее за счет внесения дополнительной избыточности (увеличение минимального кодового расстояния) в кодовых комбинациях передаваемых сообщений обеспечить возможность обнаружения и исправления одиночных, кратных и групповых ошибок.
Эффективность информационной системы показывает степень целесообразности усложнения кодов при получении заданной помехоустойчивости. Целесообразным считается тот предел уменьшения избыточности, когда скорость передачи информации становится равной пропускной способности. Эффективность можно увеличить, передавая символы с большей вероятностью сигналами с наименьшей мощностью, т.е. уменьшая среднюю мощность. Но при этом увеличить помехоустойчивость нельзя, т.к. помехоустойчивость увеличивается как раз в противоположном случае (большая вероятность - большая мощность).
Надежность связана с помехоустойчивостью и с эффективностью. Повышение двух последних параметров приводит к усложнению приемно-передающей аппаратуры, а, следовательно, к увеличению отказов, что снижает надежность. При анализе надежности обычно различают надежность передачи (вероятность правильного приема) и надежность связи в целом (вероятность приема с учетом влияния помех).
Увеличить надежность можно несколькими путями. Можно увеличить длительность сигнала (схема с приемником Котельникова). Метод Бодо- Вердана использует многократное повторение сообщения. Правильный сигнал обнаруживается при накоплении сигналов одного вида (0 или 1). Эта идея лежит в основе мажоритарного декодирования.
Например, система накапливает положительные импульсы (качественный признак 1). Переданная комбинация 10110. Принятые комбинации:
10100 – 1-я
10010 – 2-я
00110 – 3-я
10110 - накопленная
Метод может применяться только для инверсных переходов.
Также для увеличения надежности применяют числовые защиты – увеличение числа символов передаваемого сообщения.
Минимальное кодовое расстояние характеризует помехоустойчивость и избыточность сообщений. В зависимости от величины минимального кодового расстояния существуют коды, обнаруживающие и исправляющие ошибки.
Кодовое расстояние - d определяется как количество единиц в результате суммирования по модулю два двух кодовых комбинаций Минимальное кодовое расстояние d0 - минимальное из кодовых расстояний всех возможных кодовых комбинаций. Если d0=1 (избыточность отсутствует), то не могут быть обнаружены даже единичные ошибки.
Для обнаружения r ошибок минимальное кодовое расстояние равно:
d0 r+1.
Это означает, что для обнаружения одиночной ошибки необходимо, чтобы кодовые слова отличались как минимум в двух символах.
Для обнаружения r ошибок и исправления s ошибок минимальное кодовое расстояние равно:
d0 r+s+1.
Только для исправления ошибок минимальное кодовое расстояние равно:
d0 2s+1.