4. Расчет количества информации

Вычисление частной информации I(a_i, b_j):

Для вычисления количества информации в сложной системе при совместном появлении событий ai и bj воспользуемся следующей формулой:

I(a_i, b_j) = log₂ (P(a_i| b_j)/P(a_i)), , (4.1)

где I(ai, bj) — количество информации в сложной системе при совместном появлении событий ai и bj;

P(ai| bj) — условная вероятность появления события ai относительно события bj в сложной системе;

P(ai) — вероятности появления события ai.

Подставив в (4.1) соответствующие данные, получим:

I(a1,b1) = log₂ (P (a1|b1)/P(a1)) = log₂ (0.871/0.470) = log₂( 1.853) = 0.8899 (бит);

I(a1,b2) = log₂ (P (a1|b2)/P(a1)) = log₂ (0.308/0.470) = log₂(0.655) = -0.6104 (бит);

I(a1,b3) = log₂ (P (a1|b3)/P(a1)) = log₂ ( 0.310/ 0.470) = log₂(0.660) = - 0.5995(бит);

I(a2,b1) = log₂ (P (a2|b1)/P(a2)) = log₂ (0.073/0.260) = log₂( 0.281) = -1.8314(бит);

I(a2,b2) = log₂ (P (a2|b2)/P(a2)) = log₂ (0.598/0.260) = log₂ (2.300) = 1.2016(бит);

I(a2,b3) = log₂ (P (a2|b3)/P(a2)) = log₂ (0.120/0.260) = log₂ ( 0.462) = -1.1140(бит);

I(a3,b1) = log₂ (P (a3|b1)/P(a3)) = log₂ (0.056/0.270) = log₂( 0.207) = -2.2723(бит);

I(a3,b2) = log₂ (P (a3|b2)/P(a3)) = log₂ (0.093/0.270) = log₂ ( 0.344) =-1.5395(бит);

I(a3,b3) = log₂ (P (a3|b3)/P(a3)) = log₂ (0.570/0.270) = log₂ ( 2.111) = 1.0779(бит).

Сумма элементов на главной диагонали:

R1 = 0.8899 + 1.2016 + 1.0779 = 3.1694.

Вычисление частной информации I(A, bj):

Вычисление количества информации в сложной системе, в которой влияние помех описывается при помощи частной условной энтропии системы A относительно события bj производится по следующей формуле:

I(A, bj) = P(ai| bj)*I(ai, bj), при j=1..n, (4.3)

где I(A, bj) — частная информация

I(ai, bj) — количество информации в сложной системе при совместном появлении событий ai и bj;

P(ai| bj) — условная вероятность появления события ai относительно события bj.

Подставив в (4.3) соответствующие данные, получим:

I(A,b1) = 0.871*0.8899 + 0.073 * (- 1.8314) + 0.056* (- 2.2723) = 0.7751- 0.1337- 0.1272 =0.5142(бит);

I(A,b2) = 0.308*(- 0.6104) + 0.598* 1.2016+ 0.093* (- 1.5395) = -0.1880+0.7186-0.1432 =

0.3874 (бит);

I(A,b3) = 0.310* (- 0.5995)+ 0.120* ( - 1.1140)+ 0.570 * 1.0779 = -0.1858 – 0.1368+ 0.6144 = 0.2918 (бит).

Вычисление частной информации I(B,ai):

Вычисление количества информации в сложной системе, в которой влияние помех описывается при помощи частной условной энтропии системы B относительно события ai производится по следующей формуле:

I(B,a_i) = P( b_j|a_i)*I(a_i, b_j), (4.4)

где I(B,a_i) — частная информация

I(a_i, b_j) — количество информации в сложной системе при совместном появлении событий ai и b_j;

P( bj|ai) — условная вероятность появления события bj относительно события ai.

Подставив в (4.4) соответствующие данные, получим:

I(B,a1) = 0.530*0.890 + 0.210*0.610 + 0.260*0.600 = 0.7560 (бит);

I(B,a2) = 0.080*1.831 + 0.740*1.202 + 0.180*1.114 = 1.2360 (бит);

I(B,a3) = 0.060*2.272 + 0.110*1.540 + 0.830*1.078 = 1.2000 (бит).

Вычисление полной взаимной информации I(A,B)=I(B,A):

Вычисление количества информации в сложной системе, в которой влияние помех описывается при помощи энтропии объединения систем А и В производится по следующей формуле:

I(A,B) = P( b_j)*I(A, b_j), при j=1..n, (4.5)

где I(A,B) — полная взаимная информация;

I(A, b_j) — частная информация;

P( b_j) — вероятности появления события b_j.

Подставив в (4.5) соответствующие данные, получим:

I(A,B) = 0.286 *0.5142+ 0.321 *0.3874+ 0.393 *0.2918 = 0.3862 (бит).

Проверка:

1. I (A,B) = H (A) - H (A|B);

0.3862 = 1.5273 - 1.1436 = 0.3837(бит).

Погрешность вычислений:

.

2. I (A,B) = H (B) - H (B|A);

0.3837 = 1.5722 - 1.1836 = 0.3886 (бит).

3. I (A,B) = H (A) + H (B) - H (A,B);

0.3862 = 1.5273 + 1.5722 - 2.7122 = 0.3873(бит).

Вычисления информации выполнены с погрешностью 0.25%, ’= 0.11%.