3.4 Расчет полной условной энтропии

Вычисление полной условной энтропии H (B|A):

Для вычисления полной условной энтропии системы B относительно системы A воспользуемся формулой:

H(B|A) = _i) H(B/а_i), (3.4.1)

где H(B|A) — полная условная энтропия систем B и A;

P(a_i) — вероятности появления события a_i;

Н(B|a_i) — условная частная энтропия системы B относительно события a_i;

Подставив в (3.4.1) соответствующие данные, получим:

H(B|A) =0.4700 * 1.4635 + 0.2600 * 1.0583+ 0.2700* 0.8169 = 0.6878+ 0.2752+0.2205 =1.1836

(бит/символ).

Вычисление полной условной энтропии H (A|B):

Для вычисления полной условной энтропии системы A относительно системы B воспользуемся формулой:

H(A|B)=- P( b_j) H(A/b_j), (3.4.2)

где H(A|B) — полная условная энтропия систем A и B;

P( b_j) — вероятности появления события b_j;

H(A| b_j) — условная частная энтропия системы A относительно события bj;

Подставив в (3.4.2) соответствующие данные, получим:

H(A|B)= 0.2861*0.6821+0.3208*1.2987+0.3931*1.3532 = 0.1951+0.4166+0.5319 = 1.1436

(бит/символ).

Определение погрешностей вычисления энтропии системы А.

Н(А) =Н(А,В)-Н(В/А).

Н(А)’ =2.7122-1.1836 =1,5286.

Абсолютная погрешность:

∆Н(А)=|Н(А)’ -Н(А)|=|1,5286 - 1,5273 |=0,0013.

Относительная погрешность:

Н(А)=(∆Н(А)/Н(А))*100% =(0,0013/1,5273)*100%=0,09%.

Определение погрешностей вычисления энтропии системы В.

Н(В)’=Н(А,В)-Н(А/В).

Н(В)’=2.7122- 1.1436 =1,5686.

Абсолютная погрешность:

∆Н(В)=|Н(В)’-Н(В)|=| 1,5686 -1.5722|=0,0036.

Относительная погрешность:

Н(В)=(∆Н(В)/Н(В))*100% =(0,0036 /1.5722)*100%=0,23%.

Определение погрешностей вычисления совместной энтропии системы А и системы В.

Н(А,В)’=Н(А)+Н(В/А).

Н(А,В)’=1,5273 +1.1836 =2,7109.

Абсолютная погрешность:

∆Н(А,В)=|Н(А,В)’-Н(А,В)|=| 2,7109 -2.7122|=0,0013.

Относительная погрешность:

Н(А,В)=(∆Н(А,В)/Н(А,В))*100% =(0,0013 /2.7109)*100%=0,048%.

Н(А,В)’’=Н(B)+Н(A/B).

Н(А,В)’’=1,5722 +1.1436 =2,7158.

Абсолютная погрешность:

∆Н(А,В) =|Н(А,В)’’-Н(А,В)’|=| 2,7158-2.7109|=0,005.

Относительная погрешность:

Н(А,В)’’=(∆Н(А,В)/Н(А,В)’’)*100% =(0,005 /2.7158)*100%=0,2%.

Определение погрешностей вычисления полной условной энтропии Н(А/В).

Н(А/В)’=Н(А,В)-Н(В).

Н(А/В)’=2.7122-1,5722=1,1400.

Абсолютная погрешность:

∆Н(А/В)=|Н(А/В)’-Н(А/В)|=| 1,1400 -1.1436 |=0,004.

Относительная погрешность:

Н(А/В)=(∆Н(А/В)/Н(А/В))*100% =(0,004/1.1400)*100%=0,4%.

Определение погрешностей вычисления полной условной энтропии Н(В/А).

Н(В/А)’=Н(А,В)-Н(А).

Н(В/А)’=2.7122-1.5273 = 1,1849.

Абсолютная погрешность:

∆Н(В/А)=|Н(В/А)’-Н(В/А)|=| 1,1849 -1.1836 |=0,001.

Относительная погрешность:

Н(В/А)=(∆Н(В/А)/Н(В/А))*100% =(0,001/1.1836)*100%=0,08%.

3.5 Проверка по контрольным соотношениям

Проверка равенства H(A,B)=H(A)+H(B|A)=H(B)+H(A|B):

2.7122 = 1.5273+1.1836 = 1.5722+1.1436 =>

2.7122 = 2.7109 = 2.7158.