- •2.1. Бір оқиғаның ақпараты
- •2.1 Сурет. Қарапайым х алфавитінің ақпарат дереккөзі.
- •2.2 Сурет. I(p) символының ақпараты р пайда болу ықтималдығымен.
- •3.1. Дереккөздерді кодтау теоремасы I
- •3.1 Сурет. Кодты дарақ.
- •3.1.1 Теорема. Дереккөздерді кодтау теоремасы I.
- •4.1. Өзара және шартты ақпарат
- •4.1 Сурет. Екі байланысты дереккөздің моделі.
- •4.2. Бірлескен және шартты энтропия
- •4.2 Сурет. Екі байланысқан дискретті дереккөз.
- •4.3. Қорытындылар
- •4.3 Кесте. Символды жадсыз х және y дискретті дереккөздері.
- •5.1. Энтропия
- •5.1 Сурет. Үздіксіз сигнал.
- •5.2. Дереккөздерді кодтау теоремасы 2
- •5.3. Марковтың шекті тізбектері
- •5.3.2. Шекті дискретті марковтық r жадты дереккөздер
- •5.6 Сурет. Марковтың тізбегі кейіпіндегі дереккөз (бірінші қадам).
- •5.4. Стационарлы марковтық дереккөздің энтропиясы
- •5.5. Стационарлы марковтық дереккөздерді кодтау
- •5.6. Қорытындылар
- •5.3 Кесте. Марковтық тізбектер.
- •5.4 Кесте. Марковтық тізбектер. (жалғасы)
- •5.5 Кесте. Стационарлы Марковтық дереккөздер.
- •6.1 Сурет. Неміс әдеби тілінің блок ұзындығының функциясы
- •6.2. Арифметикалық кодтау
- •6.1 Кесте. Әріптер және олардың шамаланған жиіліктері.
- •6.2 Сурет. Арифметикалық кодтау.
- •6.2 Кесте. Арифметикалық кодтаудың алгоритмі.
- •6.3. Лемпель - Зив кодтауы.
- •Каналдар және ақпарат
- •7.2. Екілік симметриялы канал
- •7.2 Сурет. Екілік симметрилы канал арқылы мағлұмат тасымалдау диаграммасы.
- •7.3 Сурет. Шартты I(y1 / x1) және өзара I(y1 ; x1) мағлұматтары
- •7.3. Ақпарат тасымалдау
- •7.4 Сурет. Каналмен байланысқан екі жадсыз дискретті дереккөз.
- •7.5 Сурет. Ақпараттық тасқын диаграммасы
- •7.4. Қорытынды
- •7.5. Каналдың өткізгіштік қабілеті
- •7.5.2. Ақаулы екілік симметриялы каналдың
- •7.12 Сурет. Ақаулы екілік симметриялы канал.
- •7.13 Сурет. Ɛ қате ықтималдықты екілік симметриялы каналдың сеск
- •7.6. Жадсыз дискретті каналдар үшін кодтау
- •8.1 Сурет. Үздіксіз дереккөздің сигналы.
- •8.1. Дифференциалды энтропия
- •8.2 Сурет. Канал арқылы байланысқан екі жадсыз
- •8.3 Сурет. Δ кванттау интервалды үздіксіз дереккөзді бақылау сәтінде цифрлеу
- •8.2. Каналдың өткізгіштік қабілеті және Шеннон шегі
- •8.4 Сурет. Тілкемде шектелген аагш-лы каналдың үлгісі.
- •8.5 Сурет. Сигнал/шу қатынас функциясы ретіндегі өткізгіштік
- •8.7 Сурет. Шектелген тілкемдегі ақ гаусстық шудың спектрі.
- •8.8 Сурет. Ақпарат тасымалдау уақытындағы өткізшіш тілкем
Каналдар және ақпарат
ТАСЫМАЛДАУ
7.1. Кіріспе
4-ші бөлімде ақпараттың екі байланысты дереккөзі қарастырылған болатын. Байланысты дереккөздер үшін бірлескен, өзара және шартты пар оқиғалар (символдар) ақпараттары деген негізгі түсініктер енгізілген болатын. Олардың негізінде біз ақпараттың іргелі түсініктеріне келдік – бірлескен, өзара және шартты энтропия(4.3 кестені қараңыз). Бірлескен және шаррты энтропиялар ықтималдықтар теориясында да ұқсастықтары бар және екі дереккөздің барлық жұп оқиғаларының бірлескен және шартты ақпараттардың математикалық күтімі ретінде анықталатыны сол жерде көрсетілген.
7.1 Сурет. Хабар беру үлгісі
Біз бұл пікірді бірлескен энергияға зер салу арқылы жалғастырамыз. Ақпарат тасымалдау каналдарын сипаттау үшін екі байланысты дереккөз тұжырымдама- сын қолданамыз. 4 бөлімде көрсетілген түсініктер арқылы жадсыз каналдар арқылы ақпарат тасымалдау жүйесін толықтай сипаттай алады екенбіз. Нәтиже- сінде біз канал арқылы ақпарат тасымалдау мүмкіндігін яғни каналдың өткізгіштік қабілетін бағалай аламыз.
Байланыс каналының Шеннондық үлгісінде бірінші дереккөздің(хабарлағыш) мағлұматы канал арқылы қабылдағышқа тасымалданады және пайдаланушыға беріледі. Пайдаланушы үшін қабылдағыштың шығысы ғана маңызды яғни қабыл-дағыштың өзі ақпараттың қайнар көзі болып табылғандықтан байланысты дерекөздер үлгісі “Хабарлағыш – Канал – Қабылдағыш” тізбегіне толық жарамды.
Егер ақпарат тасымалдау жүзеге асып жатса, бірінші дереккөз символдары екінші дереккөз символдарына әсер етуі тиіс. Мысал ретінде екілік жадсыз симметрилы каналдарды қарастырамыз.
7.2. Екілік симметриялы канал
Екілік симметриялы канал (ЕСК) екі жадсыз дискретті дереккөздердің ең қарапайым әрекеттесу мысалы болып табылады. Ал аддитивті ақ гаусстық шумен (ААГШ) канал арқылы екілік дискретті ақпарат тасымалдау үлгісі болып табылады.
Ескерту. Кедергіге тұрақты кодтау алгоритмдерінің нәтижелілігін тексері уақтысында, байланыс каналдарын Монте-Карло тәсілімен есептеу және модельдеу үшін каналдардың дискретті үлгісі ұтымды қолданылады.
Екілік симметриялы канал диаграммалы өткел арқылы суреттеледі (7.2 сурет). Диаграммада Х дереккөзінің екілік символдарының (0,1) Ү дереккөзінің екілік символдарына мүмкін өтулері ұсынылған. Әр өткелге өту ықтималдығы жазылған.
7.2 Сурет. Екілік симметрилы канал арқылы мағлұмат тасымалдау диаграммасы.
7.2 суреттен қате өтулерге ɛ ықтималдығы сәйкес екенін көреміз, сондықтан, әдетте айтылуынша, екілік мағлұматты ЕСК арқылы тасымалдағанда, қате ɛ ықтималдығымен болады. Канал матрицасы өту диаграммасының эквиваленті болып табылады. Ол өту ықтималдықтарын қамтамасыз етеді және әр қатарының барлық элементтерінің жиынтығы бірлікке тең схоластикалық матрица болып табылады.
Кіру әліпбилі канал матрицасы, M xi рәмізінен және кіру әліпбиінен тұратын, N yj символынан тұратын, барлық өту ықтималдықтарын P(yj / xi) қамтамасыз етеді және келесі түрде болады
ЕСК жағдайында
Өтулер симметриясынан канал кірісіндегі рәміздердің бірқалыпты бөлінуі өз кезегінде шығу символдарының бірқалыпты бөлінуіне алып келетіні белгілі.
Кіру символдарының бірқалыпты бөлінуін шамалап, барлық мүмкін жұп оқиғалардың шартты және өзара мағлұматтарын жазып аламыз. ЕСК үшін
Мұнан шығады
Үш ерекше жағдайды қарастырамыз
ɛ = 0 (қатесіз тасымалдау)
I (x1 ; y1) = I (x2; y2) = 1 бит.
Басқа өзара мағлұматтар жоқ, себебі өзара рәміздердің жұптары (x1, y2) және (х2, y1) ешқашан пайда бола алмайды. Ақпарат X дереккөзінен Ү дереккөзіне ысырапсыз тасымалданады.
2. ε= 1/2. Барлық жұп рәміздер (xi, yj) үшін
I(xi;
yj)
= log2
бит
= 0.
Х және Ү дереккөздері тәуелсіз болып табылады. Ақпарат тасымалдау болып жатқан жоқ.
3. ɛ = 1. Бұл жағдайда я әлдеқандай ықтималдықтар алмасып кеткен я болмаса біз бір жерде толық қателестік. Бұл ақиқатты ұшыратқан уақытта және қабылданған yi символдарын инверттеген соң, біз бірінші жағдайға қайта ораламыз.
Нәтижесінде шартты I(yi / xj) = I(y1 / x1) және өзара I(yi ; xj) = I(y1 ; x1) мағлұматтарының тәртібін ЕСК-да ɛ ықтималдық функциясының қатесі ретінде қарастырамыз.
