5.2. Дереккөздерді кодтау теоремасы 2

Енді біз ақпараттар теориясын тағы бір теоремамен толықтыра аламыз. Дереккөздер оқиғасын L ұзындығының блогына біріктіп және бұл блоктарды кодтай отырып, оқиға үшін кодты сөздің орташа ұзындығы L → ∞ тұсында дереккөзінің энтропиясына жақын жетуі мүмкін. Сонымен қатар дереккөз жады толықтай ескеріледі.

5.2.1 Теорема. энтропиялы стационарлы дискретті дереккөздің кодтау теоремасы.

L Ұзындықты блок үшін бір оқиға үшін кодты сөздің орташа ұзындығы келесі теңсіздікті қанағаттандыратын D-типті префиксті код бар

(5.14) теоремасы арнайы дәлелге мұқтаж емес. Егер біз L ұзындығының блоктарын энтропиясы -ке тең жаңа тәуелсіз оқиғалар ретінде қарап анықтасақ және дереккөздерді кодтау теоремасы 1-ді қолдансақ, онда шығады

Теңсіздіктің барлық мүшелерін L-ге бөліп, оқиға үшін кодты сөздің орташа ұзындығын аламыз

L → ∞, болғанда

яғни

Осылайша, кез-келген шағын 𝛿 үшін блоктарды кодтау тәсілі бар, онда L > 1/𝛿 бар оқиға үшін оқиғаның кодты сөзінің орташа ұзындығына (5.18) теңсіздік орындалады. Дереккөздерді кодтау теоремасы 2 бойынша L блогының ұзындығын жоғарылатқан сайын, біз энтропиясына қалағанымызша жақындай аламыз. Бірақ, практикада біршама шектеулер бар. L oқиғадан тұратын блок декодталуы үшін, ол толықтай қабылдануы шарт, бірақ ол өз уақтысында декодтаудың жарамайтын тоқтауларына

және жад буферінің шектен тыс ауқымына алып келуі мүмкін.

5.3. Марковтың шекті тізбектері

Осы және келесі параграфтарда жадты дискретті дереккөздердің арнайы формасы макрковтық дереккөздер қаралады. Оның анықтамасы ғылымның және техниканың басқа салаларында түрлі қолданысын тапқан марковтық тізбектерге ұқсас. Марковтық тізбектер негізінде сөз тану үлгілері, телефондық байланыс каналдары арқылы тасымал үлгілері құрылып жатыр. Марковтың тізбектері байланыс желілерінің үлгілерін зерттеуде (Гильберт-Элиот каналдары) және транспорттық ағындарды басқару теориясында қолданылады. Марковтық тізбектердің мәні олардың тек толық математикалық сипатына ғана негізделмей, олардың көмегімен практикаға жақынырақ көптеген процесстердің математикалық үлгісін құрастыруға болады.

5.3.2. Шекті дискретті марковтық r жадты дереккөздер

Марковтық тізбектерді соңғы дискретті жадты дереккөздерді моделдеу үшін нәтижелі қолдануға болады. Дереккөздердің жадты стохастикалық параметрлері уақытта орташа шама ретінде есептелінуі мүмкін екенін ескере отырып, алдағы пікірлерге жол көрсетейік.

алавитті дерек-көзінің ерікті реттілігі берілген болсын. Біз алдынырақ оқиғалар жиілігін оқиғаларының ықтималдығы ретінде анықтаған тұғынбыз және оқиғаларды тәуелсіз деп санап дереккөздің энтропиясын анықтаған тұғынбыз. Егер дереккөздің жады бар болса, онда оның энтропиясы тек аз болуы мүмкін, яғни алдынырақ біз бағалауды жоғарыдан табатын едік.

Анализге дереккөз жадысын қалай қосуға болады деген сұрақ туындайды.

Ол үшін оқиғалар арасындағы тәуелділікті ескере отыру қажет. Екі ретті оқиғаның шартты ықтималдықтарын жұп оқиғалардың жиілігін есептеу арқылы бағалайық. Мұнан соң дереккөз жұп оқиғалардағы бірінші символдарға сәйкес төрт кіші дереккөздерге бөлінуі мүмкін.

5.6 суретте пікірлердің бұл бірінші қадамы айқын көрсетілген. Мұнда а символы төрт кіші дереккөздердің бірін анықтайды. а символының артында (кестедегі жолдарда) болып жатқан оқиғаларға ықтималдықтарға шамалас салмақтарды жазады, мәселен, . Осылайша, әрбір осындай кіші дереккөз қандай-да бір дербес жадсыз дереккөз ретінде қаралуы мүмкін. Мұндай дереккөздің энтропиясы мағлұм тәсілдермен есептелуі мүмкін. Бастапқы жадты дереккөз төрт жадсыз кіші дерекөздердің стохастикалы жинағы болуы мүмкін, ал оның энтропиясы бұл кіші дереккөздердің энтропияларының орташа мәні арқылы анықталуы мүмкін. Біз пайымдауларды кіші дереккөздердің ұзын ахуалдарын қарап шығып (мәселен, а, а және а, b, c, d векторлары), бастапқы дереккөздің бүкіл жадысы толмағанша жалғастыра аламыз.