
- •Сибирская Аэрокосмическая Академия
- •Статический метод
- •Энтропия и её свойства
- •Энтропия сложной системы
- •Условная энтропия. Объединение зависимых систем.
- •Полная условная энтропия
- •Теорема сложения энтропий
- •Определение информационных потерь в каналах связи
- •Энтропия и информация
- •Взаимная информация
- •Сумма равна единице
- •Частная информация о системе
- •Частная информация о событии, получаемая в результате сообщения о другом событии.
- •Энтропия и информация для систем с непрерывным множеством состояний
- •Условная энтропия непрерывной системы
- •Количественное определения избыточности
- •Блочное кодирование
- •Избыточность от округления
- •1 Символ – 4 бита
- •Код Хафмана
- •Процедура кодирования
- •Передача информации по дискретным каналам связи
- •Основная теорема Шеннона о кодировании для дискретного канала без помех
- •Дискретный канал с помехами
- •Теорема о кодировании Шеннона для дискретного канала с помехами
- •Корректирующие коды
- •Исправление ошибок с помощью полной кодовой таблицы
- •Разбиение
- •Систематические коды
- •Декодирование систематических кодов
- •Код Хэминга
- •Декодирование кода Хэминга
- •Особенности декодирования.
- •Циклические коды
- •Декодирование циклических кодов
- •Построение декодированного конкретного циклического кода
- •Обнаружение и определение ошибок
- •Коды, обнаруживающие трёхкратные ошибки
Исправление ошибок с помощью полной кодовой таблицы
Процесс исправления ошибок поясняется с помощью диаграммы.
Ak – разрешённые комбинации Bj – запрещённые комбинации
А1
может искажена и может превратиться в
B1
или B2
и т.д. в любую
из запрещённых комбинаций. Запрещённые
комбинации делятся на подмножества Hk.
Способ приема состоит в том, что если принимается комбинация Bj, которая попадает в подмножество Мк, то считается, что принята комбинация Ак (M1 соответствует тому, что передавалась комбинация A1).
Исправляющая способность кода будет зависеть от выбора разбиения или от стратегии.
Пример: Рассмотрим пример построения КУ. Пусть li – вектор ошибки, он имеет те же размерность, что и кодовая комбинация. 1 – искажения есть, 0 - искажений нет. Пусть кодируется набор из 4-х комбинаций.
А1=0001
А2=0101
А3=1110
А4=1111
Bj=Ак+li
-
li
Ак
q
0001
0101
1110
1111
1
0001
0010
0100
1000
0000
0011
-
1001
0100
0111
-
1101
-
1100
1010
0110
-
1101
1011
0111
0011
0101
1001
0110
1010
1100
0010
0100
1000
0111
1011
1101
0110
0000
1100
0011
-
1001
1101
1011
0111
1000
0100
0011
1100
1010
0110
1001
-
0011
2
0111
1011
1101
1110
0110
1010
1100
-
0010
-
1000
1011
1001
-
0011
0000
1000
0100
0010
-
3
1111
-
1010
-
0000
4
Разбиение
Разбиение запрещенных кодовых комбинаций на множества зависит от статистики ошибок и выбранной стратегии. Если ошибки в каждом символе независимы, то вероятность ошибок убывает с повышением ее кратности. Для уменьшения средней вероятности ошибки следует в начале исправлять ошибки меньшей кратности.
На практике действуют следующим образом: оставляют комбинации в сроках с низшей кратностью и вычеркивают одинаковые комбинации в строках с высшей кратностью. Действуя, таким образом получают таблицу комбинаций:
-
М1
М2
М3
М4
q
0000
0011
1001
0100
0111
-
1100
1010
0110
1101
1011
-
1
0010
-
1000
-
2
Т.е. Исправили десять одинарных и две двойные ошибки.
Если статистика ошибок такова, что большую вероятность имеют ошибки высшей кратности, то разбиение изменяют: оставляют комбинации в строках с высшей кратностью и вычеркивают в строках с низшей.
“-“ значит действие помехи переходит в разрешенную комбинацию и мы ее обнаруживаем.
-
М1
М2
М3
М4
q
1101
-
0111
-
2
0110
1100
1000
1011
0001
0011
0100
0010
3
-
1010
-
0000
4
Если статистика ошибок такова, что какая-нибудь комбинация искажается больше, чем другие, например, комбинация А1, то стратегия разбиения будет другая: оставляем все кодовые комбинации соответствующие А1, т.е. М1, а остальные вычеркиваем: комбинации, которые не совпадают, остаются
-
А1
М1
А2
М2
А3
М3
А4
М4
q
0000
0011
1001
-
-
-
1100
0010
0110
1
0010
0100
1000
0111
1011
1101
2