7.5 Сурет. Ақпараттық тасқын диаграммасы

H(X/Y) – Х дереккөзінің жіберілген рәміз белгісіздігінің орташа өлшемін Ү дереккөзінің қабылдағышының символдары мәлім болған жағдайда ғана анықтайды, яғни қабылдағыштың қалған белгісіздігін анықтайды. H(X/Y) үлкендігін кейде ақпарат “жайылуы” деп те атайды, себебі H(X) энтропиясын

Х, H(X) = 1(X; X) дереккөзінің меншікті ақпараты деп те интерпретациялауға болады. H(X/Y) = 0 шусыз каналында ақпарат Х дереккөзінен Ү дереккөзіне және кері қарай ысырапсыз тасымалданады (“жайылусыз”). Егер канал толығымен шулы болса H(X/Y) = H(X) болады және ешқандай ақпарат тасымалдау жүзеге аспайды (барлық ақпарат “ысырап” болады).

H(Y/X) – жіберілген мәлім символдарда қабылданған символдың орташа белгісіздігін анқтайды, сондықтан оны “тысқары” шулы ақпарат деп атайды.

Шулы канал арқылы ақпарат тасымалдауды белгісіздіктің төмендеуіне әсері тиетін тәжірибелер сериясы деп қарастыруға болады. Ақпараттар теориясының тұрғысынан алғанда канал шулардың қайнар көзі болып табылады.

7.4. Қорытынды

Алдыңғы бөлімдерде қарастырылған барлық анықтамалар мен төбелер 7.2 және 7.3 кестелерде жалпыланған. Ықтималдықтар теориясынан ақпараттар теориясына өткелдерге ерекше назар аудару қажет.

Бұл өткелдерде жадсыз дискретті дереккөздердің шығыс символдары кездейсоқ тәжірибелердің нәтижесі ретінде қарастырылады. Бұл нәтижелер-дің ықтималдықтарына сәйкес әр символға оның пайда болу логарифдік ықтималдығына шамалас бірсыпыра ақпараттық өлшем меншіктеледі. Символдар ықтималдықтарын стохастикалық айнымалы деп қарастыруға болатынын ескере өткен жөн.

Символдардың ықтималдықтарынан олардың ақпараттық мазмұнына өткенде ықтималдықтар теориясында аналогы жоқ жаңа өлшем енгізіледі – бірлескен (х, у) жұп оқиғаларды анализдеуде пайда болатын, өзара ақпарат. Өзара ақпарат р(у) априорлы ықтималдығына у р(у/х) символының апостери-орлы қарым-қатынасының логарифмі қарастырылады және екі оқиғаны байланыстырушы ақпараттық өлшем ретінде қызмет етеді.

Дереккөздерді сипаттау үшін дереккөз түрлендіретін символдар ақпаратының орташа мәні қолданылады. Осылайша, жеке оқиғалардың (символдардың) ақпарат санының немесе жұп оқиғалардың математикалық күтімі ретінде энтропия түсінігі енгізіледі. Сонымен қатар, өзара ақпарат өте маңызды рөл ойнайтынын ескере кетеміз. Оның математикалық I(X;Y) күтімі тасымалданып жатқан ақпараттың өлшемі болып табылады және Х және Ү дереккөздерінің байланысын сипаттайды, яғни байланыс каналы арқылы дереккөздер алмасып жатқан ақпараттың орташа санын бейнелейді. I(X; Y) өлшемінің негізгі түсініктері келесі бөлімдерде толық әшкереленеді.

7.2 Кесте. Х және Ү жадсыз дискретті дереккөздері х € X = {х₁, х₂, .... ,х_м}

және у € Y = {у₁, у₂, .... , у_N} символдарымен.

7.3 Кесте. Х және Ү жадсыз дискретті дереккөздерін х € X = {х₁, х₂, .... ,х_м}

және у € Y = {у₁, у₂, .... , у_N} символдарымен “орташа” сипаттау.