Пропускная способность симметричного канала со стиранием

Рассмотренную выше систему связи можно усовершенствовать, введя «защитный интервал» или «зону стирания». При µ > ρ +Δрешение принимается в пользу1, а приµ < ρ - Δпринимаются решение в пользу0. Приρ –Δ < µ < ρ +Δсимвол искажается настолько, что становится «неузнаваемым». Получаем модель бинарного симметричного канала со стиранием символа (Б.С.К.С.). Это небольшое изменение заметно повышает эффективность системы, поскольку задача исправления стираний проще задачи исправления ошибок. Один и тот же корректирующий код позволяет исправить примерно в два раза больше стираний, чем ошибок.

Перейдем к моделированию Б.С.К.С. Рассмотрим двоичный канал (на входе сигналы u₁иu₂с вероятностями появленияp(u₁)иp(u₂), соответственно). На приемном конце канала связи любой из них с вероятностьюpможет быть интерпретирован как противоположный (см. предыдущий раздел), но, помимо этого, с вероятностьюqискажения в канале оказываются такими, что принятый знак не идентифицируется ни с одним из поступающих на вход. В таком случае можно считать, что принят новый сигналv₃, появление которого можно интерпретировать как пропажу (стирание) входного сигнала – по этой причине канал назван двоичным симметричным со стиранием. Тогда

P(v₁|u₁) = P(v₂|u₂) = 1 – p – q, P(v₂|u₁) = P(v₁|u₂) = p, P(v₃|u₁) = P(v₃|u₂) = q,

1-p-q

u₁ v₁

p q

v₃

p

q

u₂ v₂

1-p-q

Рис.4.7. Граф передачи сигнала в бинарном симметричном канале со стиранием

Эту же систему можно представить в виде марковской цепи с матрицей переходных вероятностей.

P(v|u)	v1	v2	v3
u1	1-p-q	p	q
u2	p	1-p-q	q

Расчет условной энтропии шума в соответствии с формулой (4.10) дает:

H(v|u) = -P(u₁)∙(P(v₁|u₁)∙log₂P(v₁|u₁) + P(v₂|u₁)∙log₂P(v₂|u₁) + P(v₃|u₁)∙log₂P(v₃|u₁)) –  -P(u₂)∙(P(v₁|u₂)∙log₂P(v₁|u₂) + P(v₂|u₂)∙log₂P(v₂|u₂) + P(v₃|u₂)∙log₂P(v₃|u₂)).

Подставляя вероятности из матрицы переходных вероятностей, получим:

H(v|u)=-P(u₁)∙((1-p-q)∙log₂(1-p-q) + p∙log₂p + q∙log₂q)–

- P(u₂)∙(p∙log₂p+(1-p-q)∙log₂(1-p-q) + q∙log₂q) =

-(P(u₁)+P(u₂))∙((1-p-q)∙log₂(1-p)+p∙log₂p + q∙log₂q))= |в силу того, что P(u₁)+P(u₂)=1| = -(1-p-q)∙log₂(1-p-q)–p∙log₂p – q∙log₂q.

Таким образом, в силу (4.8)

I(u,v) = H(v) + (1-p-q)∙log₂(1-p-q)+p∙log₂p + q∙log₂q.

Поскольку H(v|u)не зависит от значений априорных вероятностей, взаимная информацияI(u,v)достигает максимума при таких вероятностях, когда наибольшее значение приобретает энтропияH(v). Для нахожденияH(v)необходимо знать вероятности всех сигналов, появляющихся на выходе из канала (обозначим эти вероятностиq_j (j = 1,2,3)).

Вероятность появления v₃(то есть стирания символа) уже установлена:q₃ = q. Дляv₁вероятностьq₁ = p(u₁)·(1 – p – q) + p(u₂)·p; аналогично дляv₂находимq₂ = p(u₂)·p + p(u₂)·(1 – p – q). Тогда по формуле (4.9)

Поскольку qопределяется особенностями канала и не зависит от априорных вероятностей сигналов на входе, наибольшая энтропия выходаH(v)будет при максимальном значении выражения– q₁·log₂q₁ – q₂·log₂q₂, причем, при любыхp(u₁)иp(u₂)справедливоq₁ + q₂ = 1 – q(так какΣ q = 1) Можно показать (аналогично доказательству третьего свойства энтропии), что указанное выражение достигает максимума при условииq₁ = q₂ = 0,5·(1 – q).Тогда

приведя подобные, получим:

Окончательно для пропускной способности двоичного симметричного канала со стиранием имеем:

C = C₀((1-q)∙(1-log₂(1-q)) + (1-p-q)∙log₂(1-p-q) + p∙log₂p) (4.16)

Проанализируем полученный результат. С = С(p,q),причем,Cбудет уменьшаться при увеличении какp, так иq. Если вероятностиpиqотличны от0, то, как видно из полученного выражения,C < C₀. В реальных двоичных каналах со стираниемp < q, т.е. вероятность такого искажения входного сигнала, при котором его невозможно распознать, выше вероятности такого искажения, при котором сигнал становится похожим на второй из используемых сигналов. В тех ситуациях, когдаpпренебрежимо мала и единственным искажением оказывается стирание сигнала, пропускная способность оказывается равной:C = С₀∙(1 – q).График этой функции представлен на рис.4.8.

Полученный результат представляется вполне закономерным: при p = 0изVдвоичных сигналов, передаваемых по каналу за единицу времени, в среднемV·qбудет «стираться», но при этом остальныеV·(1– q)сигналов будут на приемном конце расшифровываться без потерь, и с каждым из них связан ровно1бит информации.

Заканчивая рассмотрение характеристик реального дискретного канала передачи информации, мы можем сделать следующие заключения.

Помехи, существующие в реальном канале связи, приводят к снижению его пропускной способности (по сравнению с аналогичным каналом без помех).

Пропускная способность реального канала может быть рассчитана по известным априорным и апостериорным вероятностям. Для их определения требуются статистические исследования передачи информации в канале.