3. Количество информации, предаваемой по каналу с помехами.

1. Для матрицы общего вида P_ijоценим количество информации, которое содержится в принятом сообщении y_j относительно x_i:

А) неопределенность относительно x_i до получения y_j характеризуется его энтропией:

H(x_i) = - log₂P(x_i)

Для канала без помех, получив y_j из канала связи, мы полностью сняли о нем неопределенность, т.е. получили количество информации:I_i = H(x_i) = - log₂P(x_i).

Б) Вследствие воздействия помех после получения y_jмы полностью не сняли неопределенность, а лишь уменьшили её до значенияH(x_i/y_j) = - log₂P(x_i/y_i).

В) Разница неопределённостей до и после получения сообщения y_jсоставила количество информации, содержащееся в сообщении y_jотносительно x_i:

I(x_i/y_i) = H(x_i) - H(x_i/y_j) = log₂(P(x_i/y_i)/P(x_i)).

Частное

Количество информации,

содержащееся в принятом y_j

относительно x_i

2. Среднее количество информации о всем множестве X , содержащееся в принятом сообщении y_j:

n n

I(X/y_i) = P(x_i/y_j) * I(x_i/y_j) = P(x_i/y_j) * log₂(P(x_i/y_i)/P(x_i));

i=1 i=1

3. Среднее количество информации, содержащееся во всей совокупности принятых сообщений Y относительно всей совокупности преданных сообщений X (усреднение по всем y_j):

n n n

I(X/Y) = P(y_j) * I(X/y_j) =   P(y_j)* P(x_i/y_j) * log₂(P(x_i/y_j)/P(x_i));

j=1 j=1 i=1 P(x_i ,y_j)

Принимая: P(y_j)* P(x_i/y_j) = P(x_i ,y_j) = P(x_i)* P(y_j/x_i)

Вероятность совместного появления x_i и y_j

Вывод: Для определения среднего количества информации, передаваемой по каналу с помехами необходимо определение:

А) P(x_i/y_j) – канальной матрицы условной вероятности;

Б) P(x_i) – априорной распределенной вероятности алфавита X.

Проведя соответствующие преобразования, получим:

А) I(X/Y) = - P(x_i) * log₂P(x_i) +   P(x_i,y_j) * log₂P(x_i/y_j);

i i j

H(X) H(X/Y)

Безусловная энтропия Условная энтропия

Среднее количество информации, получаемое из канала связи при наличии помех равно разности безусловной энтропии, характеризующей начальную неопределенность сообщений (до принятия сообщения) и условной энтропии, характеризующей остаточную неопределенность (после получения сообщения).

Рассмотрим предельные значения полученного сообщения:

А) отсутствие помех

• между x_i иy_jоднозначное соответствие (соотношение);

• P_ijвырождается вединичнуюдиагональную матрицу;

• H(X/Y) = 0–формально следует из подстановки в основное выражение, т.е.

I(X/Y) = I(X) = H(X).

Б) при уровне помех, обеспечивающихP(x_i/y₁) P(x_i/y₂)…,т.е. при отсутствии какой-либостатистической связи между переданными{x_i}и принятыми{y_j}сообщениями, имеем

H(X) = H(X/Y),

т.е. безусловная энтропия (до сообщения) = условной энтропии (после сообщения).

Таким образом, полученное сообщение y_jне снизило на сколько-нибудь неопределенность относительно x_i. Иными словами, количество информации, содержащееся вy_jотносительноx_i=0

I =H(X) - H(X/Y) = 0.

Вывод:Информационные характеристики реальных каналов связи лежат между двумя предельными случаями:

H(X)  I  0 .

Отсутствие помех равновероятностные помехи

Пример: количество информации, представляемое по бинарному симметричному каналу связи с помехами.

P(x_i)  P₀

P₁

P_ij = p q = P(y₀/x₀) P(y₁/x₀)

q p  P(y₀/x₁) P(y₁/x₁)

1 1 1

I (0,1) = - P_i* log₂P_i +   P(x_i)* P(y_j/x_i)* log₂P(y_j/x_i) = 

i=0 i=0 j=0

безусловное количество условная энтропия (или потеря количества информации)

информации(энтропия) зависит от регл. алфавита X(0,1) и от матрицы условных

зависит от распределения вероятностей P(y_j/x_i)

начального алфавита из

двух букв: 0 и 1

1 1

 -P₀* log₂P₀ -P₁* log₂P₁ + P₀* P(y_j/x₀)* log₂P(y_j/x₀) + P₁* P(y_j/x₁)* log₂P(y_j/x₁) = 

i=0 i=1 j=0 i=0 j=0 i=1

 -P₀* log₂P₀ -P₁* log₂P₁ + P₀* [p*log₂p + q* log₂q] + P1* [q* log2q + p* log2p] =

-P₀* log₂P₀ -P₁* log₂P₁+ [P0+P1] * [p*log₂p + q* log₂q] = -P₀* log₂P₀ -P₁* log₂P₁+ p*log₂p + q* log₂q

I(x) =1

I_max = P0 =P1 =½= ½* log₂½ -½*log₂½ + p*log₂p + q* log₂q = 1+ p*log₂p + q* log₂q

C = log₂2 =1 при q = 0, p = 1 –канал связи без помех

при q = 1, p = 0 – канал связи - инвертор

С= log₂2 = 0 при q = ½ = p – когда вероятность правильной передачи и ошибки равны