4.3 Теоремы для пропускной способности канала с помехами
Для дискретных каналов с помехами Шеннон доказал теорему, имеющую фундаментальное значение в теории передачи информации. Эта теорема может быть сформулирована следующим образом.
Если производительность источника Rи C-ε, где ε- сколь угодно малая величина, то существует способ кодирования, позволяющий передавать все сообщения источника со сколь угодно малой вероятностью ошибки. При Rи>C такая передача невозможна. Количество типичных переходов каждой группы:
МГ=2nH(v/u) . (4.10)
В общем случае переходы перекрещиваются, т.е. одна и та же последовательность Vj может образоваться в результате передачи одной из нескольких последовательностей U.
Вероятность ошибки декодирования:
.
(4.11)
МИ – число последовательностей, выбранные для переноса информации;
Рпер – вероятность перекрещивания переходов.
Это оценка вероятности ошибки является грубым приближенным, однако она правильно указывает на характер зависимости РОД от МИ.
Если энтропия источника равна НИ, то:
(4.12)
.
Скорость передачи информации:
где
.
(4.13)
При максимальной скорости передачи сообщений по каналу maxR=C и
.
(4.14)
Возможность одновременного установления сколь угодно малой вероятности ошибки декодирования РОД и малой величины ε доказывает справедливость теоремы Шеннона.
Для
обеспечения высокой достоверности
передачи сообщений необходимо применять
коды с избыточностью. Если R=C,
то
средняя взаимная информация
.
Тогда коэффициент
избыточности:
.
(4.15)
Иными словами, теорема утверждает, что для передачи сообщений со сколь угодно малой вероятностью ошибки декодирования PОД могут быть найдены коды с минимальной избыточностью, равной χ. При передаче бинарных сигналов минимальная избыточность равна:
.
(4.16)
4.4 Математическая модель дискретного канала с помехами
Простейшей моделью двоичного канала с памятью является Марковская, определяемая матрицей переходных вероятностей
(4.17)
где Р1 – условная вероятность принять (i+1)–й символ ошибочно, если предыдущий принят правильно; 1- Р1 – условная вероятность принять (i+1)–й символ правильно, если предыдущий принят правильно; Р2 - условная вероятность принять (i+1)–й символ ошибочно, если предыдущий принят ошибочно; 1- Р2 – условная вероятность принять (i+1)–й символ правильно, если предыдущий принят ошибочно.
Безусловная
вероятность ошибки р
должна удовлетворять уравнению
.
Откуда
.
Это модель очень проста в использовании,
однако она весьма неточно воспроизводит
свойства реальных каналов.
Несколько более успешно используется модель Гильберта. Согласно этой модели канал может находиться в двух состояниях S1 и S2. В состоянии S1 ошибок не происходит, в состоянии S2 ошибки возникают независимо с вероятностью p2. Переходы из одного состояния в другое образуют простую Марковскую цепь с матрицей переходов
(4.18)
где P(S2/S1) –вероятность перехода из состояния S1 в S2; P(S1/S2) - вероятность перехода из состояния S2 в S1. Вероятности нахождения канала в состоянии S1 и S2 соответственно
;
.
(4.19)
Безусловная вероятность ошибки
.
При использовании модели Гильберта обычно полагают р2=0,5. Это хорошо согласуется с представлением о канале, в котором на некоторых временных интервалах из-за плохих условий прохождения или действия мощных помех связь пропадает.