- •2.1. Бір оқиғаның ақпараты
- •2.1 Сурет. Қарапайым х алфавитінің ақпарат дереккөзі.
- •2.2 Сурет. I(p) символының ақпараты р пайда болу ықтималдығымен.
- •3.1. Дереккөздерді кодтау теоремасы I
- •3.1 Сурет. Кодты дарақ.
- •3.1.1 Теорема. Дереккөздерді кодтау теоремасы I.
- •4.1. Өзара және шартты ақпарат
- •4.1 Сурет. Екі байланысты дереккөздің моделі.
- •4.2. Бірлескен және шартты энтропия
- •4.2 Сурет. Екі байланысқан дискретті дереккөз.
- •4.3. Қорытындылар
- •4.3 Кесте. Символды жадсыз х және y дискретті дереккөздері.
- •5.1. Энтропия
- •5.1 Сурет. Үздіксіз сигнал.
- •5.2. Дереккөздерді кодтау теоремасы 2
- •5.3. Марковтың шекті тізбектері
- •5.3.2. Шекті дискретті марковтық r жадты дереккөздер
- •5.6 Сурет. Марковтың тізбегі кейіпіндегі дереккөз (бірінші қадам).
- •5.4. Стационарлы марковтық дереккөздің энтропиясы
- •5.5. Стационарлы марковтық дереккөздерді кодтау
- •5.6. Қорытындылар
- •5.3 Кесте. Марковтық тізбектер.
- •5.4 Кесте. Марковтық тізбектер. (жалғасы)
- •5.5 Кесте. Стационарлы Марковтық дереккөздер.
- •6.1 Сурет. Неміс әдеби тілінің блок ұзындығының функциясы
- •6.2. Арифметикалық кодтау
- •6.1 Кесте. Әріптер және олардың шамаланған жиіліктері.
- •6.2 Сурет. Арифметикалық кодтау.
- •6.2 Кесте. Арифметикалық кодтаудың алгоритмі.
- •6.3. Лемпель - Зив кодтауы.
- •Каналдар және ақпарат
- •7.2. Екілік симметриялы канал
- •7.2 Сурет. Екілік симметрилы канал арқылы мағлұмат тасымалдау диаграммасы.
- •7.3 Сурет. Шартты I(y1 / x1) және өзара I(y1 ; x1) мағлұматтары
- •7.3. Ақпарат тасымалдау
- •7.4 Сурет. Каналмен байланысқан екі жадсыз дискретті дереккөз.
- •7.5 Сурет. Ақпараттық тасқын диаграммасы
- •7.4. Қорытынды
- •7.5. Каналдың өткізгіштік қабілеті
- •7.5.2. Ақаулы екілік симметриялы каналдың
- •7.12 Сурет. Ақаулы екілік симметриялы канал.
- •7.13 Сурет. Ɛ қате ықтималдықты екілік симметриялы каналдың сеск
- •7.6. Жадсыз дискретті каналдар үшін кодтау
- •8.1 Сурет. Үздіксіз дереккөздің сигналы.
- •8.1. Дифференциалды энтропия
- •8.2 Сурет. Канал арқылы байланысқан екі жадсыз
- •8.3 Сурет. Δ кванттау интервалды үздіксіз дереккөзді бақылау сәтінде цифрлеу
- •8.2. Каналдың өткізгіштік қабілеті және Шеннон шегі
- •8.4 Сурет. Тілкемде шектелген аагш-лы каналдың үлгісі.
- •8.5 Сурет. Сигнал/шу қатынас функциясы ретіндегі өткізгіштік
- •8.7 Сурет. Шектелген тілкемдегі ақ гаусстық шудың спектрі.
- •8.8 Сурет. Ақпарат тасымалдау уақытындағы өткізшіш тілкем
7.5. Каналдың өткізгіштік қабілеті
I(X; Y) шамасы ақпараттар теориясында маңызды рөлге ие және байланыс каналы арқылы ақпарат тасымалдау процесін сипаттайды. (7.9) анықтамадан I(X; Y) каналдың өту ықтималдығынан және канал кірісіндегі символдар ықтималдық-тарын бөлуге байланысты.
Алдағы ой жүгіртулер үшін көзге түскен өту ықтималдықты жадсыз дискретті каналды қарастырамыз және өзімізге келесі сауалды қоямыз: Бұл канал арқылы қаншалықты максималды ақпарат тасымалдай аламыз?
Каналдың өткізгіштік қабілеті берілген өту ықтималдықтары менен Х дереккөзі символының барлық кіріс бөлінулеріне тасымалданып жатқан максималды ақпаратқа тең
Ескерту. Өткізгіштік қабілеттің өлшем бірлігі – бит/символ. Мысалы, егер канал арқылы секундына 1 символ тасымалданып жатса, онда сонымен қатар бит/символ өлшем бірлігі турасында да айтуға болады.
Максимум барлық мүмкін дереккөз кірістерінен іздестірілгендіктен, өткізгіштік қабілет каналдың өту ықтималдықтарына тәуелді.
Математикалық тұрғыдан алғанда жадсыз дискретті каналдың өткізгіштік қабілетін іздеу максимум I(X;Y) ақпаратты қамтамасыз ететін дереккөздің кіріс символдарының ықтималдықтарының бөлінуін іздегенмен тең. Солай бола тұра каналдың кіріс х € X символдарының ықтималдықта-рына шектеу қойылады
Әсілінде, I(х, у) максимумын (7.44) шектеулер тұсында мультипликатты Лагранж әдісін қолдану арқылы анықтауымыз мүмкін. Бірақ , мұндай шешім шамадан тыс шығынды қажет етеді. Дербес жағдайларда (симметриялы каналдар) өткізгіштік қабілетті табуға келесі теорема [10] жәрдемін тигізеді.
7.5.1 Теорема. Симметриялы жадсыз дискретті каналдарда өткізгіштік қабілетке Х дереккөзінің кіріс символдарының ықтималдықтарын бірқалыпты бөлу арқылы жетеміз.
Ескерту. [10] теоремада канал симметриялы я симметриялы емес екендігін анықтайтын тәсілдер ұсынылған.
7.5.1. Өткізгіштік қабілет
Екілік симметриялы жадсыз дискретті канал (ЕСК) каналдың өті ықтималдықтарының матрицасы арқылы анықталады (7.2). ЕСК сипаттай алатын жалғыз параметр ɛ қате ықтималдығы болып табылады. Канал өткелдерінің символдарының және симметрияларының бірқалыпты бөлінуі шығыс символдарының бірқалыпты бөлінуіне алып келеді, яғни
р(х1) = p(x2) = p(y1) = p(y2) = 1/2. (7.45)
(7.9) пайдаланып, алатынымыз
Сандық мәндерін қойғанда, шығады
ЕСК энтропиясы (2.32) арқылы анықталады
ЕСК өткізгіштік қабілетін жинақы түрде аламыз
СДСК = 1 бит - Нb (ɛ) (7.49)
Екі шектес қызықты жағдай бар:
Шусыз канал арқылы ақпарат тасымалдау:
Hb (ɛ = 0) = 0 және CЕСК = 1 бит.
Канал шуға толы:
Hb (ɛ = 1/2) = 1 және CЕСК = 0 бит.
7.5.2. Ақаулы екілік симметриялы каналдың
өткізгіштік қабілеті
ЕСК-нің маңызды жиі кездесетін жағдайы ақаулы екілік симметриялы канал (АЕСК) немесе ақаулы екілік канал (Binary Erasure Channel, ВЕС - ағыл.). ЕСК секілді ақаулы екілік канал аддитивті ақ гаусс шуы(ААШС) менен канал арқылы ақпарат тасымалдаудың жеңілдетілген үлгісі болып табылады. 7.11 суретте АЕСК-де дұрыс шешім қабылдау ережесі көрсетілген. Суретте жіберілген “0” немесе “1” символдары шешімдерімен қатар мұнда кейде қабылданған “е” (Erasure-ағыл.) символын өшіру шешімі қабылданады. Өшіру детекторланған аналогтық V сигналы тығыз орналасқан шартты функциялардың ықтимал f(V/0) және f(V/1) мәндері нөлге жақын болғандағы зонаға түскен уақытта жүзеге асады.
7.11 Сурет. Детекторланған сигналдар ықтималдығының тығыз орналасу
және шешім қабылдау аймағының шартты функцилары.
Ескерту. Ақаулы екілік каналда “0” немесе “1” символдары турасындағы “қатігез” шешімнің орнына “жұмсақ” шешім қабылданады. Бұл жағдайда бізде қабылданған екілік символдың жарамдылығы жайында мағлұматтар бар. Осыған байланысты, мағлұматтар тасымалдау техникасында, “қатігез” және “жұмсақ” шешімдер турасында айтады. “Жұмсақ” шешім сәйкес кодталған мағлұматпен бірлескен түрде кейбір жағдайларда артығырақ жарамды мағлұмат тасымалдауға септігін тигізеді. “Жұмсақ” шешімді қолданатын мысалды осы кітаптың екінші бөлімінен таба аласыз.
