ТИК_ПР3_БойцоваМП_321б
.DOCXЗавдання 3.3.1
Обчислимо сумісні інформації:
P(x1, y1) = p(x2, y2) = p(x1)*p(y1/x1)= 0.5*0.7 = 0.35 (тому що канал симетричний)
P(x1, y2) = p(x2, y1) =p(x2)*p(y2/x1) = 0.5*0.3 = 0.15 (тому що канал симетричний)
Перевірка: 0.35+0.35+0.15+0.15=1
I(x1,
y1)
= I(x2,
y2)
= -
=
1.515 біт (тому що канал симетричний)
I(x1,
y2)
= I(x2,
y1)
= -
=2.737
біт (тому що канал симетричний)
Помноживши
матриці X*Y/X
отримаємо значення імовірностей для
Y:
Y
=
(за
способом, який використовує методи
лінійної алгебри)
Тому
що X*Y/X
= (0.5 0.5)*
= (0.5*0.7+0.5*0.3 0.5*0.3+0.5*0.7) = (0.5 0.5)
Обчислимо середнє значення інформації, яка передається по каналу:
I
(x1;
y1)
= I(x2;
y2)
=
=
=0.485
біт
I
(x1;
y2)
= I(x2;
y1)=
=
=-0.737
біт
(X;
Y)
= 2*p(x1,y1)*I(x1;y1)+2*p(x1,y2)*I(x1;y2)=0.35*0.485*2
- 0.15*0.737*2 = 0.1184 біт/повідомлення
Порівняно з результатами задачі 5.1 (0.0667 біт/повідомлення), це число збільшилося майже у два рази через те, що ми зробили канал симетричним.
Завдання 3.3.2
Для задачі 5.1 перевіримо наступні співвідношення:
I (xi, yj) = I(xi) + I(yj) – I(xi; yj)
I (x1,y1) = 1.667 = 1.152+0.902-0.3878 біт
I (x1,y2) = 2.2889 = 1.152+1.105+0.6323 біт
I (x2,y1) = 2.184 = 0.862+0.902+0.4195 біт
I (x2,y2) = 1.5995 = 0.862+1.105-0.3677 біт
(X; Y) = H(Y)-H(Y/X)
(X; Y) = 0.0658 біт/повідомлення
H (Y/X) = 0.9306 біт/повідомлення
H (X) = 0.5184+0.4741 = 0.9925 біт/повідомлення
H (Y) = 0.513825+0.48257 = 0.996395 біт/повідомлення
(X; Y) = 0.0658 = 0.996395-0.9306 біт/повідомлення
H(X, Y) ≤ H(X) + H(Y)
1.9234 ≤ 1.988895
H (X, Y) = H(X) + H(Y/X)
1.9234 = 1.9234
Завдання 3.3.3
В результаті множення матриць отримаємо (за способом, що використовує методи лінійної алгебри):
*
=(0.65*0.97+0.3*0.10+0.05*0.03
0.65*0.02+0.3*0.86+0.05*0.08 0.65*0.01+0.3*0.04+0.05*0.89)= (0.062
0.275 0.063)
Перевірка: 0.662+0.275+0.063=1
H(X) = 0.40365+0.5211+0.2161 = 1.14085 біт/повідомлення
H (Y) = 0.39389+0.51205+0.251307 = 1.157247 біт/повідомлення
Обчислимо сумісні імовірності подій:
P(xi,yj)=p(xi)*p(yj/xi)
P(x1,y1) = 0.6305
P(x1,y2) = 0.013
P(x1,y3) = 0.0065
P(x2,y1) = 0.03
P(x2,y2) = 0.258
P(x2,y3) = 0.012
P(x3,y1) = 0.0015
P(x3,y2) = 0.004
P(x3,y3) = 0.0445
Обчислимо умовну ентропію:
H (Y/X) =
-p(x1,y1)*log2(p(y1/x1)-p(x1,y2)*log2(p(y2/x1)-p(x1,y3)*(log2(p(y3/x1)- p(x2,y1)*log2(p(y1/x2)-p(x2,y2)*log2(p(y2/x2)-p(x2,y3)*(log2(p(y3/x2)- p(x3,y1)*log2(p(y1/x3)-p(x3,y2)*log2(p(y2/x3)-p(x3,y3)*(log2(p(y3/x3)=
0.027742+0.073372+0.09966+0.056244+0.055728+0.0075885+0.014576+0.007476 = 0.3855725 біт/повідомлення
Завдання 3.5.3
1)
P(X,Y)=
2)
P(X,Z)=
3)
P(Y,Z)=
H(X)+H(Y)-H(X,Y)
H(X)+H(Z)-H(X,Z)
H(Y)+H(Z)-H(Y,Z)
P(x1) = 0.28+0.08+0.04=0.4
P(x2) = 0.42+0.12+0.06=0.6
0.4+0.6=1
P(y1)=0.28+0.42=0.7
P(y2)=0.08+0.12=0.2
P(y3)=0.04+0.06=0.1
0.7+0.2+0.1=1
H(X)=
=0.4*1.3219+0.6*0.7370=0.52876+0.4422
=0.97096 біт/повідомлення
H(Y)=
=0.7*0.5146+0.2*2.3219+0.1*3.3219
=0.36022+0.46438+0.33219=1.15679 біт/повідомлення
H(X,Y)=
0.28*1.8365+0.08*3.6439+0.04*4.6439+0.42*1.2515+0.12*3.0589+0.06*4.0589=0.51422+0.291512+0.185756+0.52563+0.367068+0.243534=2.371254
біт/повідомлення
0.97096+1.15679-2.12772=0.00003
біт/повідомлення
P(x1) =0.5+0.05=0.55
P(x2) =0.2+0.15+0.1=0.45
0.55+0.45=1
P(z1) =0.5+0.2=0.7
P(z2) =0.05+0.15=0.2
P(z3)=0+0.1=0.1
0.7+0.2+0.1=1
H(X)= 0.55*0.8625+0.45*1.1520=0.474375+0.5184=0.992775 біт/повідомлення
H(Z)=H(Y)=1.15679 біт/повідомлення
H(X,Z)=0.5*1+0.05*4.3219+0.2*2.3219+0.15*2.7370+0.1*3.3219=0.5+
0.216095+0.46438+0.41055+0.33219=1.923215 біт/повідомлення
=0.992775+1.15679-1.923215=0.22635
біт/повідомлення
P(y1)=0.35+0.15=0.5
P(y2)=0.05+0.45=0.5
0.5+0.5=1
P(z1)=0.35+0.05=0.4
P(z2)=0.15+0.45=0.6
0.4+0.6=1
H(Y) = 0.5*1+0.5*1=1 біт/повідомлення
H(Z)= 0.4*1.3219+0.6*0.7370=0.52876+0.4422 =0.97096 біт/повідомлення
H(Y;Z) = 0.35*1.5146+0.15*2.7370+0.05*4.3219+0.45*1.1520=0.53011+0.41055+0.216095+0.5184=1.675155
=
1+0.97096-1.675155=0.295805 біт/повідомлення
Отже, найбільший статистичний зв’язок між джерелами Y та Z, а найслабший між X та Y.
0.00003<0.22635<0.295805