2.2 Сурет. I(p) символының ақпараты р пайда болу ықтималдығымен.

2.2 суретте ақпараттың ықтималдық функциясы туріндегі қызметі. Әрдайым болып жатқан оқиғаның ақпараты 0-ге тең. Белгісіздігінің өсуімен ақпарат мүмкін емес оқиғаның шексіздікке ұмтылуы үшін де өседі. Сөйтіп, ақпарат алдын ала келтірілген барлық талқылауларларға сәйкес және 1 – 3 аксиомаларын да қанағаттандырады.

Ықтималдықтар теориясының тұрғысынан алғанда, ақпарат анықтауды оқиғаның біршама бейнесі деп қарастыруға болады. Ұқсас кескіндер стохастикалық айнымалыларға ие. Келесі тарауларда бұл мысалдар түрінде қарастырылады.

ЖАДСЫЗ ДИСКРЕТТІ

ДЕРЕККӨЗДЕР ҮШІН

КОДТАУ

3.1. Дереккөздерді кодтау теоремасы I

2.2 тарауда энтропияның жадсыз дискретті дереккөздің орташа мағлұматы деген түсінік енгізілген болатын. Сонымен қатар дереккөздің кез-келген оқиғасы “иә” немесе “жоқ” деген нәтижелі екілік шешім реттілігіне ақпарат шығынысыз жіктелуі мүмкін екені көрсетілген болатын. Осылайша алфавиттегі әрбір оқиғаға 0 және 1 екілік символдарының кейбір реттіліктері жазылуы мүмкін (келешекте мұндай реттілікті оқиғаның кодты сөзі деп атайтын боламыз). Сонымен бірге ақпарат шығыны болмайды, себебі әр оқиға өзінің кодты сөзі арқылы тікелей қайта қалпына келтіріледі. Мұндай процесс дереккөзді кодтау деп аталады, ал барлық оқиғалардың кодты сөздерінің жинағы – дереккөз коды делінеді.

3.1 Сурет. Кодты дарақ.

Сауал: дереккөзді кодтау уақытында биттің қандай орташа мәнін сарп ету керек? Басқа да туындайтын сұрақтар: дереккөз кодын жүзеге асыру барысында қосқыш элементтер тақтада қанша орын алады және ақпарат тасымалдау кезінде кодты сөздің ұзындығы қандай болады?

Бұл сұрақтардың жауабын дереккөздерді кодтау турасындағы Шеннон теоремасы береді. Бұл теореманы зерттеуге кіріспестен бұрын екілік кодауға мысал ретінде 3.1 суретте көрсетілген кодты құрылымды аламыз.

Кодты дарақтың тамырынан бастап әр деңгейде қабырғалар саны екі еселенеді, бұған қоса сол жақ тарапта бірліктерге сәйкес қабырғалар, ал оң жақта – кодты сөздердің нөлдеріне сәйкес қабырғалар жайғасады. Кодты сөздер тамырдан біткен түйінге алып баратын сәйкес қабырғаларды жүріп өткенде пайда болады. Мысал ретінде 0110 кодты сөзін қарап шығамыз.

Егер біз N деңгейден өтсек, онда log₂2^N бит = N бит ұзындықты кодты сөзге сәйкес 2^N біткен түйін аламыз және 2^N оқиғаны кодтауға болады. Бұл біткен түйіндерге дереккөздің бүкіл алфавитінен 2^N тең ықтималдықты оқиғалар сәйкес деп шамалайық. Онда әр оқиғаны кодтауға дереккөз энтропиясына тең дәл N бит жұмсалады. Кодты сөздің орташа ұзындығы мен дереккөз энтропиясының арасындағы байланысты дереккөздерді кодтау теоремасы жалпылайды.

3.1.1 Теорема. Дереккөздерді кодтау теоремасы I.

Кез-келген негізгі алфавитті және Н(х) энтропиялы жадсыз дискретті Х дереккөзi үшін n кодты сөзінің орташа ұзындығы теңсіздікті қанағаттандыратын D-типті префиксті код бар

Префиксті код термині кодты сөздің ешқандай бастамасы басқа кодты сөз бола алмайды дегенді білдіреді. Бұл дегеніміз оқиғалар ағыны бұл жағдайлардың арнайы бөлінуінсіз де кодталуы мүмкін екенін айқындайды. D = 2 болған жағдайда екілік код қолданылады. Егер энтропия биттерде берілген болса n-ның орташа ұзындығы да екілік кодты қолдану арқылы биттерде өрнектелген болады.

Дереккөздерді кодтау теоремасы кодты сөздің орташа ұзындығы энтропиядан кіші болуы мүмкін емес екенін көрсетеді. Бірақ, 5.2 және 5.5 тарауларда көрсетілгендей, дереккөздерді блокты кодтау уақтысында кодты сөздің орташа ұзындығы энтропияға жақындауы мүмкін. Бұл жайт энтропия түсінігінің маңыздылығын тағы да ескере кетеді. Энтропия – бұл минималды орташа шығындардың өлшемі. Теңсіздіктің (3.1) практикалық түрде жүзеге асу мысалы ретінде келесі тарауларды қаралатын Хаффман кодын алуға болады.

Ескерту. 3.1.1 теоремасының дәлелі Крафт теңсіздігінің қолданылуына алып келеді және шығын тұрғысынан алғанда оптималды кодтар құруға өзімен ешқандай да негізді түсінік ұсынбайды. Дәлелдер дерліктей ауқымды, бірақ ақпараттар теориясының әдістері жайлы жақсы мәлімет береді. Сонымен қатар, келесі бөлімдерді түсіну үшін ол еш зақымсыз өткізілуі мүмкін.

Дәлел.

Қадам 1. Крафт теңсіздігі.

n₁, n₂, … , n_k ұзындықты К кодты сөзі бар бір мәнді декодталатын D-типті кодтың бар болуы үшін, Крафт теңсіздігінің орындалуы зәру және жеткілікті

Бұл анықтаманы дәлелдеу үшін 3.2 суретте көрсетілген кодты құрылымды қолданамыз

3.2. Сурет. D = 2 және n = 4 үшін кодты дарақ.

Біз бұл құрылымның 3 өзіндік қасиетін байқаймыз:

1. i тәртіптің (і дәрежелі) Dⁱ түйіні бар;

2. i тәртіптің әр түйіні n дәреженің D^n-1 туғызады;

3. Кодтық құрылым префикстік кодқа сәйкес, яғни ешбір кодты сөз басқа кодты сөздің бастамасы бола алмайды, себебі кодты сөздер біріңғай біткен түйіндермен анықталады.

Жеңілдету үшін кодты сөздердің ұзындығын тізіп шығамыз

Енді есеп беруді бастаймыз. n₁ ұзындығының с₁ кодты сөзі соңғы n деңгейде нақты D^n-n₁ мүмкін біткен түйінді болдырмайды. Себебі префиксті кодтың кодты сөздері бірікпейді, сонда n деңгейде

жүзеге аспаған түйін аламыз. N деңгейдегі мүмкін түйіндердің жалпы саны Dⁿ-ге тең, сондықтан

Теңсіздіктің екі бөлігін де Dⁿ-ға бөлсек, Крафт теңсіздігін аламыз.

Қадам 2. Мак-Миллан тұжырымы.

Әр біріңғай декодталатын код Крафт теңсіздігін қанағаттандырады.

Крафт теңсіздігін қорытындылау нәтижесінде префикстік кодтың ерекшеліктері қолданылған болатын. Бірақ бұл шарт міндетті болып есептелмейді. Келесі көрсетілетіндей, кодтың біріңғай декодталуы қажетті шарт болып табылады. Крафт теңсіздігіндегі қосындыны L дәрежеге шығарамыз

Жалпы i ұзындықты L кодты сөзі бар комбинациялар санын А_і арқылы көрсетіп, (3.6)-ны жинақы түрде жазамыз

мұндағы L_{n, max} L кодты сөзді хабарламаның максималды ұзындығы.

Егер код біріңғай декодталатын болса, онда жалпы і ұзындықты L кодты сөзден шығатын реттіліктер өзгеше. Себебі Dⁱ ғана мүмкін реттіліктер бар болғандықтан

және осылайша

L-типті негізді шығара отырып, Крафт теңсіздігіндегі дәреже өзгерісін

барлық натурал L-дер үшін аламыз.

L санының мәнін талқылауға көшейік. Бұл {1, 2 , … , K}-дан алынатын және L_{n, max}-тан аспайтын ұзындықтың барлық мүмкін реттіліктерін құру үшін қолданылатын тәуелсіз кодты сөздердің саны. Сондықтан, L → ∞ болған жағдайда біз Крафт теңсіздігіне келеміз

Жоғарыда келтірілген тұжырымдар әрбір біріңғай декодталатын код үшін әділ болып табылады. Сол себепті, әрбір біріңғай декодталатын код Крафт теңсіздігін қанағаттандырады.

Қадам 3.

Теңсіздіктің (3.1) сол жақ бөлігін келесі түрде жазамыз

P_k оқиғасының ықтималдығын және n_k кодты сөздерінің сәйкес ұзындықтарын пайдаланамыз

Тоқтамды(2.1) дәлелдегендегідей, (2.19) көмегімен логарифмдік функцияны төбесінен бағалайық

Бұл жерде Крафт теңсіздігі және шарты қолданылған болатын.

Осылайша дереккөздерді кодтау теоремасының сол жақ бөлігі дәлелденді.

Қадам 4.

Теңсіздіктің (3.1) сол жақ бөлігі

Дәлелдеу барысында Крафт теңсіздігінің n_k кодты сөздерінің және шартының сәйкес ұзындықтарымен болу шартын қолданамыз.

Крафт теңсіздігін келесі түрде жазсақ болады

Крафт теңсіздігі күшін жоймай тұрғанда, біз n_k ∈ N кодты сөздерінің ұзындығын таңдау еркіндеміз. Әр өрнекке келесі нәтиже шығатындай ең аз n_k таңдаймыз

Мұндай таңдауда Крафт теңсіздігі орындалатын болады, демек, 3.2 суреттегі құрылымды қолданып біз мұндай префиксті код құра аламыз. n_k (3.17) орынды болатын ең аз бүтін болғандықтан, n_k – 1 үшін келесі теңсіздік әділетті

Дәлелдің қалған бөлігі негізсіз.

Логарифмдік функцияның қасиеттерін пайдаланып, алатынымыз

Барлық K-ларға қосқанда

Теңсіздіктің екі жағын да logD-ға бөліп және мүшелерді -1 көбейтіп (нәтижесінде теңсіздік белгісін өзгертеді) қайта орындарына қойсақ, ізделіп отырған дәлелді аламыз.

БАЙЛАНЫСТЫ

ДЕРЕККӨЗДЕР

ЭНТРОПИЯСЫ

Осы уақытқа дейін біз өз пікірлерімізде реттілікті оқиғаларың тәуелсіз болжамдарынан шығып отырдық. Бірақ, неміс орфографилық сөздігін ашқан күйде, біз бірден жақын орналасқан әріптер арасындағы тәуелділікті байқаймыз, мысалы: «qu», «ch», «ck», «tz» және «sch». Неміс мәтінін оқи отыра «q»-дан соң, сирек жағдайларды есепке алмағанда, «u» кездеседі. Бұл жағдайда «u» шарасыз оқиға секілді өзімен ешқандай ақпарат тасымалдамайды. Сондықтан, бұл тәріздес дереккөздер ақпаратын анықтау уақтысында оқиғалар арасындағы өзара байланысты ескеруіміз керек.