Рис.5.10.
Декодирование сверточного кода осуществляется в соответствии со схемой
рис.5.10. Пусть передавали 110100…., приняли 100100… Ошибка во |
2-ом |
символе. Покажем, как декодер исправляет эту ошибку. |
|
Декодирование осуществляется поэтапно путем анализа очередных n |
бит |
(метрики ветвей). Для рассматриваемого кодера n=2. Приняли первые два бита 10. Кодовое расстояние между 10 и путем al, которому соответствует 00, равно d=1(метрика ветви al). Кодовое расстояние между 10 и путем ab, которому соответствует 11, равно d=1 (метрика ветви ab). Сохраняем оба пути.
Приняли следующие два бита 01. Метрики путей, равные сумме метрик ветвей следующие :
alm – 2; ali – 2; abf – 1; abc - 3. Сохраняем пути (выжившие пути): alm, ali, abf.
Приняли еще два бита 00. Метрики путей:
almn – 2; almj – 4; alig – 3; alid – 3; abfn – 3; abfj – 1.
Выбираем наивероятнейший путь abfj, метрика которого наименьшая – 1. Т.е. считаем, что передавалась комбинация 110100 – ошибка исправлена.
5.5. ПЕРЕМЕЖЕНИЕ
Перемежение - эффективный способ борьбы с пакетами ошибок. В реальных каналах связи принимаемый сигнал флуктуирует по амплитуде. Когда уровень сигнала падает практически до нуля, принимаемые кодовые комбинации содержат очень много ошибок, т.е. мы принимаем «пакет ошибок». Использование мощных кодов – неэффективно. На передаче осуществляется перемежение, т.е. сначала передаем первый символ первой комбинации a11, потом первый символ второй комбинации a21 и т.д. первый символ r – ой комбинации ar1. Далее передаются вторые символы и т.д.
Пусть пакет ошибок поразил группу символов a11, a21…. a r1.
На приеме осуществляется операция «деперемежение». Символы возвращаются на свои места в кодовых комбинациях. Следовательно, в каждой комбинации будет по одной ошибке в первом символе. Одиночная ошибка исправляется достаточно простым кодом.
52
6. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА СВЯЗИ.
6.1. Условная энтропия. Взаимная информация.
В системе связи осуществляется передача информации от передатчика к приемнику. Если бы в канале связи отсутствовали помехи, то принятый сигнал ui(t) в разумно сконструированной системе связи однозначно соответствовал бы переданному vi(t). Следовательно, количество информации, содержащееся в сигнале ui(t), было бы передано по каналу
связи. Количество информации, содержащееся, |
в |
среднем, |
в одном |
|
символе переданного сигнала, т.е. энтропия источника H (V) равнялась бы |
||||
количеству информации, |
содержащемся, в |
среднем, в одном символе |
||
принятого сигнала H (U). |
Однако, в канале связи действуют помехи х(t) и |
|||
поэтому на входе приемника действует сумма сигнала и помехи, т.е. |
процесс |
|||
z(t) = vi(t)+ х(t). Поэтому при передаче vi(t) с определенными вероятностями будут приняты или ui(t), соответствующий переданному vi(t), или uk(t), т.е. произойдет ошибка. Условная энтропия H(Z/U) характеризует мешающее влияние помехи, т.е. потери информации в канале связи из-за влияния помех.
Несмотря на влияние помех, процесс z(t) все-таки содержит информацию о сигнале u(t). Эта информация называется взаимной информацией I(U;Z),
содержащейся в процессе z(t) |
о процессе u(t). Взаимная информация равна |
||
энтропии процесса z(t) минус условная энтропия, |
т.е. потери информации в |
||
канале связи: |
|
|
|
I(U;Z)= H(Z) - H(Z/U) ; |
(6.1) |
||
Источники информации |
могут производить |
не |
только дискретные |
сообщения, например, буквы или цифры. Существует множество источников, которые производят непрерывные сообщения: звуковые сообщения (речь, музыка), видеосообщения (изображения неподвижных и перемещающихся предметов), различные датчики давления, температуры и т.п. Любой непрерывный процесс описывается, в частности, своей ФПВ, т.е. функцией плотности вероятности W(z).
Информационные характеристики непрерывных процессов отличаются от информационных характеристик дискретных процессов. Действительно, двоичный сигнал может принимать только 2 значения и может переносить максимум 1 дв.ед. информации. Любой непрерывный сигнал может принимать бесконечно большое количество разных, сколь угодно близких друг к другу значений. Следовательно, он может переносить бесконечно большое количество информации. Т.о. абсолютное значение энтропии непрерывного сигнала бесконечно велико. Поэтому разные непрерывные процессы можно описывать только их относительной информационной содержательностью. Относительная информационная содержательность непрерывного процесса z определяется его дифференциальной энтропией h(z):
∞ |
(6.2) |
h(z) = - ∫ W(z) log W(z) dz |
|
-∞ |
|
107
Относительная условная информационная содержательность непрерывного процесса u при наличии процесса z на входе приемника характеризуется условной дифференциальной энтропией h (U/Z) .
Условная дифференциальная энтропия также характеризует потери информации в канале связи из-за влияния помех.
Взаимная информация является по определению относительной информацией и потому без изменений распространяется на непрерывные случайные процессы:
I(U;Z)=h(U) - h(U/Z)= h(Z) - h(Z/U) ; (6.3)
Введенные информационные характеристики дискретных и непрерывных процессов позволяют определить способы увеличения эффективности систем связи.
Рассчитаем дифференциальную энтропию равномерного распределения:
A; a ≤ x ≤ b; |
(6.4) |
|
W(x) = |
|
|
0; |
a > x; b < x; |
|
Так как А=1/(b-a) из условия нормировки ФПВ, то :
b
h = -∫ AlogAdx = log(b - a);
a
Аналогично, дифференциальная энтропия нормального распределения равна:
∞ |
1 |
|
- |
x2 |
1 |
- |
x2 |
|
|
|
|
|
|
|
||||||||||||||
h = - ∫ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
e 2σ2 log |
|
|
e 2σ2 dx = |
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
2πσ2 |
|
|
|
2πσ2 |
|
|
|
|
|
|
|
|
|||||||||||||||
-∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
∞ |
1 |
|
|
- |
|
x2 |
|
|
|
|
|
|
∞ |
x |
2 |
- |
x2 |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
= log |
2πσ2 |
∫ |
|
|
e 2σ2 dx + loge ∫ |
|
|
|
e 2σ2 dx = |
(6.5) |
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
2πσ2 |
|
2πσ2 |
||||||||||||||||||||||||
|
|
|
-∞ |
|
|
|
|
|
|
|
|
|
|
|
-∞ 2σ2 |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
= log |
2πσ2 |
+ 0.5loge = log |
2πeσ2 ; |
|
|
|
|
|
|
|
||||||||||||||||||
Доказано, что дифференциальная энтропия нормального случайного процесса больше, чем энтропия любого другого случайного процесса с иной плотностью вероятности, если дисперсия процесса σ2 = const.
Следовательно, чтобы сигнал с ограниченной мощностью переносил максимальное количество информации он должен быть нормальным шумом.
Производительность источника Н' – это количество информации производимой источником в единицу времени:
(6.6)
Н – энтропия источника; Т – длительность сообщения.
108
Т.о. из-за помехи количество передаваемой по КС информации уменьшается на величину, равную количеству информации, определяемому помехой.
Скорость передачи информации - количество взаимной информации передаваемое по каналу связи в единицу времени.
I ' = limT →∞ |
I ( z; u) |
; |
(6.7) |
|
|||
|
T |
|
|
Пропускная способность канала связи С - максимально возможная скорость передачи информации (верхняя грань):
С=max I ' ; |
(6.8) |
Максимум ищется по всем возможным распределениям W(u), по всем возможным способам передачи и приёма при заданных ограничениях на сигнал и помеху.
Элементарная формулировка теоремы Шеннона.
По каналу связи с полосой пропускания F , в котором действует сигнал с мощностью Рс и нормальный белый шум со спектральной плотностью энергии Go, можно предавать информацию со скоростью сколь угодно близкой к пропускной способностью канала:
C = F log(1+ |
Pc |
) |
(6.9) |
|
|||
|
G0 F |
|
|
при этом вероятность ошибки может быть сделана сколь угодно малой. Доказательство.
Количество взаимной информации содержащейся в процессе z(t) о сигнале u(t) равно:
I(z;u)=h(z)-h(x)
Дисперсия белого шума x(t) в полосе F: σ 2=G0F и так как шум нормальный, то его дифференциальная энтропия равна:
h(x)=0.5 log(2πeσ 2)
Чтобы энтропия процесса z была максимальной, этот процесс должен быть нормальным случайным процессом, т.е. сигнал тоже должен быть нормальным случайным процессом с дисперсией Рс . Тогда максимальное количество взаимной информации равно :
I(z;u)=0.5 log[2πe(Pc + σ 2)] - 0.5 log(2πeσ 2)= =0.5 log(1 + Pc / σ 2) ;
Т.к процесс на выходе канала связи финитный по спектру, то он полностью определяется по теореме Котельникова своими отсчетами взятыми через интервал времени T=1/2F. Таким образом в единицу времени следует передавать 2F отсчетов.
Каждый отсчёт процесса z(t) несет информацию о сигнале I(z;u). Таким образом за 1с максимальное количество, переданной по КС информации, равно:
109
С=2F*I (z;u)=Flog(1+Pc/G0F)
Для того, чтобы вероятность ошибки была сколь угодно малой ( рош→0), необходимо использовать бесконечно длинные кодовые комбинации, т.е время задержки принятия решения бесконечно велико.
Из формулы для пропускной способности следует, что при F→ ∞ величина C стремится к пределу равному С∞=Рс log e/G0 (рис.6.1.).
C
Pcloge/G0
0 
F Рис.6.1.
110