7.3 Сурет. Шартты I(y1 / x1) және өзара I(y1 ; x1) мағлұматтары

Шартты I(y₁ / x₁) мағлұматын канал тарапынан енгізіліп жатқан белгісіздік деп, ал өзара I(y₁ ; x₁) мағлұматын канал арқылы тасымалданып жатқан ақпарат ретінде қарастыруға болады. Бір ғана ɛ=0 екілік рәмізін тасымалдағанда ақпарат ысырапсыз жетіп барады, сол себепті I(y₁ / x₁)=0, ал I(y₁ ; x₁)=1 бит. ɛ-нің қате ықтималдығы жоғарылауы себепті, канал тарапынан енгізіліп жатқан белгісіздік өседі, ал тасымалданып жатқан ақпарат, керісінше, азаяды. ɛ=0,5 болған жағдайда, ақпарат тасымалдау жүрмейді, сондықтан I(y₁ / x₁)=1 ал I(y₁ ; x₁)=0. Шартты I(y₁ / x₁) және өзара I(y₁ ; x₁) ақпараттар қосындысы ɛ-ге тәуелді емес және әрдайым бір битке тең.

7.3. Ақпарат тасымалдау

Өткен бөлімде бөлек жұп оқиғаларды қарастырғаннан соң, ақпарат тасымалдау үлгісіне қайта оралайық. 7.4 суретте негізгі жағдаят көрсетілген.

Каналды өтпелі ықтималдықтар жәрдемімен суреттеу ақыр аяғында бірлескен жұп оқиғалар ықтималдықтарына әкеледі. Осы тұрғыдан алғанда, екі дереккөз де ақпарат тасымалдау үлгісінде бірдей мәнге ие, сол себепті ақпарат тасымалдау бағытын ескере отырып дереккөздерді хабарлағышқа және қабылдағышқа бөлу қазір және мұнан былай мағынасыз.

7.4 Сурет. Каналмен байланысқан екі жадсыз дискретті дереккөз.

4 бөлімде (4.3 кестені қараңыз) екі дереккөздің бірлескен энтропиясы барлық мүмкін жұп оқиғалар ақпаратының математикалық күтімі ретінде анықталған

Шартты энтропия да дәл осылай анықталады

Мұнан шығады

H(X, Y) = H(Y) + H(X/Y) = H(X) + H(Y/X) (7.7)

және

әрі, теңдік белгісі тек қана тәуелсіз дереккөздер үшін қойылады.

Каналмен байланысты екі дереккөз жағдайында, бірлескен белгісіздік төмендейді, себебі бір дереккөздің оқиғасы басқа дереккөз оқиғасын шамалауға ерік береді. Ақпарат теориясының тұрғысынан алғанда, белгісіздіктің төмндеуі дереккөздер арасындағы мағлұмат алмасуды тұспалдайды. Ұқсас ой жүгірте отырып канал арқылы тасымалданып жатқан ақпараттың орташа мәні барлық жұп оқиғалардың өзара мағлұматтарының математикалық күтімі ретінде анықталады деген шешімге келеміз.

Х және Ү екі жадсыз дискретті дереккөздері алмасып жатқан мәліметтің орташа мәні тең болады

Ескерту. Теңдіктің сол жағындағы “минус” таңбасына және оң жақ алдындағы “плюс” таңбасына назар аударыңыз.

Тасымалданған ақпарат анықтамасынан шығатыны

және сол себепті,

Бұл жерде қайтадан энтропияның аксиоматикалық мазмұны турасындағы анықтамасы хақында сауал туындайды. “Сын тас” ретінде әуелі келесі тұжырымның әділ екенін дәлелдейміз.

7.3.1 Теоремасы. I(X; Y) тасымалданып жатқан ақпараты әрдайым теріс емес мәнде, әрі ол тек қана тәуелсіз Х және Ү дереккөздері үшін ғана нөлге тең

I(X; Y) ≥ 0. (7.12)

Дәлел.

Дәлелдеу үшін I(X; Y) анықтамасын негізге аламыз және үш тәсіл қолданамыз. Біріншіден, натурал логарифм функциясын бағалаймыз (2.19). Екіншіден, қауымдастықты шектемей тек ықтималдығы нөлден өзгеше рәміздер жұбын ғана қарастырамыз. Үшіншіден, (2.19)-дағы логарифмдік функцияның аргументінде есептеуіш және аяндауыштың орындарын алмастыру логарифмдік функцияны минус 1-ге көбейткенге эквивалентті, сол себепті бізге теңсіздіктің әділ екенін дәлелдеудің өзі жетеді

Бізге қойылған шектеудің салдарынан, қосындылар p(x, y) ≠ 0 үшін (x, y) жұптарынан ғана алынады, логарифмдік функциясының аргументі әрдайым нөлден өзгеше оң мәнге ие, сондықтан (2.19) бағасын қолданамыз

(7.12) орындалмаған жағдайда, ақпарат тасымалдау энтропияны төмендетпеген болар еді (яғни дереккөз айқындығы жоғарыламас еді).

Тасымалданған ақпарат әрдайым теріс емес және (7.1) және (7.2) теңдіктері үнемі әділ екендігі, келесі тұжырымның әділ екендігін тағы да дәлелдейді:

Кез-келген шектеу дереккөз белгісіздігін жоғарылата алмайды

H(X) ≥ H(X/Y). (7.15)

Бірлескен энтропия өзінің максимумына дереккөздер тәуелсіз болған жағдайда ғана жетеді

H(X, Y) ≤ H(X) + H(Y). (7.16)

Табылған тәуелділіктерді ақпараттар тасқыны диаграммасы жәрдемімен көрнекі айқындауға болады(7.5 сурет). Диаграмма шартты H(X/Y) және H(Y/X) энтропияларының мағнасын анықтауға септігін тигізеді.