8.2 Сурет. Канал арқылы байланысқан екі жадсыз

үздіксіз дереккөздер.

Үздіксіз X дереккөзін дискреттіге түрлендіреміз. Бұл үшін Δ қадамды дереккөздің ұқсас шығысның мәнін кванттаймыз (8.3 сурет).

8.3 Сурет. Δ кванттау интервалды үздіксіз дереккөзді бақылау сәтінде цифрлеу

Мұнан басқа, ақпараттар теориясында әдеттегідей дереккөзді уақытта дискретизациялаймыз. Нәтижесінде, стохастикалық айнымалы-ларының реттілігін аламыз. 7.2 кесте бойынша, уақыт сәтіндегі, ал уақыт сәтіндегі шығыс символының мәні болатын символдарының өзара ақпаратын анықтаймыз.

Өзара ақпаратты айнымалысы интервалына меншіктілігі мағлұм болғандағы және керісініше интервалындағы айнымалысының «шешілген» (жоғалтылған) анықталмағандығы деп сипаттауға болады. Ықтималдықты бөліп тарату тығыздығының функциясын үздіксіз функция деп есептейік. Сонда, кванттау интервалының енін нөлге ұмтылдырып, алатынымыз

яғни, нәтиже, дискретті дереккөздер үшін өзара ақпарат өрнегіне ұқсас. Тасымалданып жатқан ақпаратты математикалық күтім ретінде анықтауға болады

Ескерту. Мұнда, бұл бөлімнің белгілеуін 7.2 кестеге сәйкес келтіру үшін орнына , ал орына қолданылады.

Дереккөз ақпараты ұқсас тұжырымдар арқылы анықталады

Өзара ақпарат үшін (8.3) өрнекке қарағанда (8.4)-те Δ кванттау интервалына тәуелді қосынды пайда болады.

Δ→∞ тұсында шамасы шексіздікке ұмтылады. Нәтижесінде, үшін өрнек сондай-ақ ∞–ке ұмтылады. Бұл ғажаптанатын нәрсе емес, кванттау қадамының төмендеуіне байланысты бөлек оқиғалар (дереккөз алфавитінің символдары) саны жоғарылайды және сонымен қатар дереккөз анықталмағандығы да өседі.

шамасы дереккөзге тәуелді емес және оны суреттеу үшін мүлдем тура келмейді, сол себепті, үздіксіз дереккөз ықтималдығының бөліп тарату тығыздығының функциясын қолданған дұрыс. Осылайша, біз келесі анықтамаға өтеміз.

Үздіксіз дереккөздің орташа ақпараты, яғни дифференциалды энтропия, келесі түрде анықталады

Ең әуелі, дифференциалды энтропияның мұндай ерікті анықтамасы өзінің қажеттілігін дискретті дереккөздер үшін энтропиялы қатынастар каналдар және үздіксіз дереккөздер жағдайы үшін әділ екендігімен дәлелдейтінін айта кетейік. Атап айтқанда, үздіксіз дереккөздер үшін (7.39) – (7.42) қатынастары орынды.

Осылайша, үздіксіз дереккөздің дифференциалды энтропиясы жалпы жағдайда шексіз шама болып табылатын ықтималдықты бөліп тарату тығыздығының функциясына ғана тәуелді, сол себепті дифференциалды энтропияның мәні қаншалықты жоғары болуы мүмкін деген сұрақ қояйық. Ең әуелі, айтып кететін жайт, стохастикалық процесстің негізгі сипаттамасы болып табылатын екі шамасы бар: стохастикалық айнымалы (сызықтық қабілетке ие) қабылдайтын орташа μ мән және стохастикалық айнымалының стандартты σ ауытқуы.

Орташа мән я болмаса μ математикалық күтімі дифференциалды энтропияға ешқандай ықпал етпейді. σ өсуімен дереккөз анықталмағандығы жоғарылайды, ол оз кезегінде дифференциалды энтропияның өсуіне себепші болады. Осыған байланысты, түрлі ықтималдықты бөліп тарату тығыздығының функциясын оларға сәйкес энтропияларға қатысты салыстыру біркелкі σ тұсында өндіруге мәжбүрлейді.

Ескерту. Ақпараттық техникада бастапқы параметр ретінде - стохастикалық процесстің орташа қуаттылығын [10] қабылдайды. Тасымалдағыштың қуаттылығының жоғарылауымен тасымалданатын ақпараттың көлемі өседі, және, керісінше, шулардың қуаттылығының жоғарылауымен анықталмағандық жоғарылайды, яғни уақыт бірлігінде азырақ ақпарат тасымалданады.

Ақпараттар теориясы бойынша дифференциалдық энтропия өзінің максимумына ықтималдықтың гаусстық бөліп таралуы уақтысында жетеді.

Теорема 8.1.1. Берілген дисперсиясында ықтималдықты гаусстық бөліп тарататын дереккөз максималды дифференциалды энтропияға ие болады, сонымен қатар