3. Расчет энтропий

3.1 Расчет энтропии системы

Вычисление энтропии системы H (A):

Для вычисления энтропии системы А в сложной системе воспользуемся формулой:

H(A)=- P(a_i)*log₂ (P(a_i)), (3.1.1)

где H(A) — энтропия системы А в сложной системе;

P(a_i) — вероятности появления события a_i.

Подставив в (3.1.1) соответствующие данные, получим:

H(A) = -(0.4700 * log₂ (0.4700) + 0.2600 * log₂ (0.2600) + 0.2700 * log₂ (0.2700)) = -( 0.4700 *(-1.0893)+0.2690*(-1.9434)+0.2700*(-1.8890) =0.5120+0.5053+0.5100 = 1.5273 (бит/символ).

Вычисление энтропии системы H (B):

Для вычисления энтропии системы B в сложной системе воспользуемся формулой:

H(B)=- P( b_j)*log₂ (P( b_j)), (3.1.2)

где H(B) — энтропия системы B в сложной системе;

P( bj) — вероятности появления события bj.

Подставив в (3.1.2) соответствующие данные, получим:

H(B) = -(0.2861 * _log2 (0.2861) + 0.3208 * log₂ (0.3208) + 0.3931 * log₂ (0.3931)) = -( 0.2861 *(-1.8054)+0.3208*(-1.6403)+0.3931*(-1.3470) = 0.5165 +0.5262+0.5295= 1.5722(бит/символ).

3.2 Расчет энтропии сложной системы

Вычисление совместной энтропии H (A,B):

Для вычисления энтропии объединения систем А и В воспользуемся формулой:

H(A,B) = - P(a_i, b_j)*log₂ (P(a_i, b_j)), , (3.2.1)

где H(A,B) — энтропия объединения систем А и В;

P(ai, bj) — вероятности совместного появления событий ai и bj в сложной системе.

Подставив в (3.2.1) соответствующие данные, получим:

H(A,B) = -(0.2490 * log₂ (0.2490) + 0.0990 * log₂ (0.0990) + 0.1220 * log₂ (0.1220) + 0.0210 * log₂ (0.0210) + 0.1920 * log₂ (0.1920) + 0.0470 * log₂ (0.0470) + 0.0160 * log₂ (0.0160) + 0.0300 * log₂ (0.0300) + 0.2240 * log₂ (0.2240)) = - ( 0.2490 * (-2.0058) + 0.0990 * (-3.3364) + 0.1220 *(-3.0350) + 0.0210 * (-5.5735)+ 0.1920 *(-2.3808) + 0.0470* (-4.4112) + 0.0160 * ( -5.9658) + 0.0300 * (-5.0589) + 0.2240 * ( - 2.1584)) = (0.4994 + 0.3303+ 0.3703 + 0.1170 + 0.4571 + 0.2073 + 0.0955 + 0.1518 + 0.4835) = 2.7122 (бит/символ).

3.3 Расчет частной условной энтропии

Вычисление частной условной энтропии H (A| b_j):

Для вычисления частной условной энтропии системы A относительно события b_j воспользуемся формулой:

H(A| bj)= - P(a_i| b_j)*log₂ (P(a_i| b_j)), , (3.3.1)

где H(A| b_j) — условная частная энтропия системы A относительно события bj;

P(a_i| b_j) — условная вероятность появления события ai относительно события bj в сложной системе.

Подставив в (3.3.1) соответствующие данные, получим:

H(A|b1) = -(0.871 * log₂ (0.871) + 0.073 * log₂ (0.073) + 0.056 * log₂ (0.056)) = -(0.871*(-0.1993)+ 0.073*(- 3.7760) + 0.056*( -4.1584)) = -( 0.1736 + 0.2756+ 0.2329) = 0.6821 (бит/символ);

H(A|b2) = -(0.308 * log₂ (0.308) + 0.598 * log₂ (0.598) + 0.093 * log₂ (0.093)) = -(0.308* (-1.6990)+ 0.598* ( 0.7637)+ 0.093*( - 3.4266)) =- (0.5233+ 0.4567+ 0.3187) = 1.2987 (бит/символ);

H(A|b3) = -(0.310 * log₂ (0.310) + 0.120 * log₂ (0.120) + 0.570 * log₂ (0.570)) = - ( 0.310*( - 1.6897)+ 0.120*( -3.0589)+ 0.570*( 0.8110)) = -( 0.5238+ 0.3671+ 0.4623,) = 1.3532 (бит/символ).

Вычисление частной условной энтропии H (B|a_i):

Для вычисления частной условной энтропии системы B относительно события a_i воспользуемся формулой:

H(B|ai) = - P( b_j|a_i)*log₂ (P( b_j|a_i)), , (3.3.2)

где H(B|a_i) — условная частная энтропия системы B относительно события a_i;

P( b_j|a_i) — условная вероятность появления события b_j относительно события a_i в сложной системе.

Подставив в (3.3.2) соответствующие данные, получим:

H(B|a1) = -(0.530 * log₂ (0.530) + 0.210 * log₂ (0.210) + 0.260 * log₂ (0.260)) = -( 0.530*(-0.9159)+ 0.210*(-2.2515) + 0.260*( -1.9434)) = ( 0.4854+ 0.4728+ 0.5053) = 1.4635

(бит/символ);

H(B|a2) = -(0.080 * log₂ (0.080) + 0.740 * log₂ (0.740) + 0.180 * log₂ (0.180)) = - (0.080 * (-3.6439)+0.740* ( -0.4344)+ 0.180*( -2.4739)) = (0.2915+0.3215+0.4453) = 1.0583

(бит/символ);

H(B|a3) = -(0.060 * log₂ (0.060) + 0.110 * log₂ (0.110) + 0.830 * log₂ (0.830)) =-( 0.060*(-4.0589)+ 0.110*( -3.1844)+ 0.830*( -0.2688)) =( 0.2435+0.3503+0.2231) = 0.8169 (бит/символ).