- •2.1. Бір оқиғаның ақпараты
- •2.1 Сурет. Қарапайым х алфавитінің ақпарат дереккөзі.
- •2.2 Сурет. I(p) символының ақпараты р пайда болу ықтималдығымен.
- •3.1. Дереккөздерді кодтау теоремасы I
- •3.1 Сурет. Кодты дарақ.
- •3.1.1 Теорема. Дереккөздерді кодтау теоремасы I.
- •4.1. Өзара және шартты ақпарат
- •4.1 Сурет. Екі байланысты дереккөздің моделі.
- •4.2. Бірлескен және шартты энтропия
- •4.2 Сурет. Екі байланысқан дискретті дереккөз.
- •4.3. Қорытындылар
- •4.3 Кесте. Символды жадсыз х және y дискретті дереккөздері.
- •5.1. Энтропия
- •5.1 Сурет. Үздіксіз сигнал.
- •5.2. Дереккөздерді кодтау теоремасы 2
- •5.3. Марковтың шекті тізбектері
- •5.3.2. Шекті дискретті марковтық r жадты дереккөздер
- •5.6 Сурет. Марковтың тізбегі кейіпіндегі дереккөз (бірінші қадам).
- •5.4. Стационарлы марковтық дереккөздің энтропиясы
- •5.5. Стационарлы марковтық дереккөздерді кодтау
- •5.6. Қорытындылар
- •5.3 Кесте. Марковтық тізбектер.
- •5.4 Кесте. Марковтық тізбектер. (жалғасы)
- •5.5 Кесте. Стационарлы Марковтық дереккөздер.
- •6.1 Сурет. Неміс әдеби тілінің блок ұзындығының функциясы
- •6.2. Арифметикалық кодтау
- •6.1 Кесте. Әріптер және олардың шамаланған жиіліктері.
- •6.2 Сурет. Арифметикалық кодтау.
- •6.2 Кесте. Арифметикалық кодтаудың алгоритмі.
- •6.3. Лемпель - Зив кодтауы.
- •Каналдар және ақпарат
- •7.2. Екілік симметриялы канал
- •7.2 Сурет. Екілік симметрилы канал арқылы мағлұмат тасымалдау диаграммасы.
- •7.3 Сурет. Шартты I(y1 / x1) және өзара I(y1 ; x1) мағлұматтары
- •7.3. Ақпарат тасымалдау
- •7.4 Сурет. Каналмен байланысқан екі жадсыз дискретті дереккөз.
- •7.5 Сурет. Ақпараттық тасқын диаграммасы
- •7.4. Қорытынды
- •7.5. Каналдың өткізгіштік қабілеті
- •7.5.2. Ақаулы екілік симметриялы каналдың
- •7.12 Сурет. Ақаулы екілік симметриялы канал.
- •7.13 Сурет. Ɛ қате ықтималдықты екілік симметриялы каналдың сеск
- •7.6. Жадсыз дискретті каналдар үшін кодтау
- •8.1 Сурет. Үздіксіз дереккөздің сигналы.
- •8.1. Дифференциалды энтропия
- •8.2 Сурет. Канал арқылы байланысқан екі жадсыз
- •8.3 Сурет. Δ кванттау интервалды үздіксіз дереккөзді бақылау сәтінде цифрлеу
- •8.2. Каналдың өткізгіштік қабілеті және Шеннон шегі
- •8.4 Сурет. Тілкемде шектелген аагш-лы каналдың үлгісі.
- •8.5 Сурет. Сигнал/шу қатынас функциясы ретіндегі өткізгіштік
- •8.7 Сурет. Шектелген тілкемдегі ақ гаусстық шудың спектрі.
- •8.8 Сурет. Ақпарат тасымалдау уақытындағы өткізшіш тілкем
8.2. Каналдың өткізгіштік қабілеті және Шеннон шегі
Үздіксіз каналдар үшін өткізгіштік қабілетті дискретті каналдарға ұқсас анықтауға болады. Барлық мүмкін ықтималдықты бөліп тарату тығыздығының функциялары бойынша тасымалданатын ақпараттың ең үлкен мәнін іздейміз.
Нақты жоғарғы шекті іздеу, жалпы жағдайда, өте күрделі мәселе. Ең маңызды жеке жағдайды қарап шығайық – шектелген тілкемді аддативті ақ гаусстық шулы (ААГШ) канал арқылы ақпарат тасымалдау. Мұндай каналдың үлгісі 8.4 суретте көрсетілген. Канал кірісіндегі сигнал амплитудасының ықтималдығын гаусстық тәсілмен бөліп тарату үшін ақпарат теориясындағы мағлұм каналдың өткізгіштік қабілетінің формуласын аламыз.
8.4 Сурет. Тілкемде шектелген аагш-лы каналдың үлгісі.
Теорема 8.2.1. Каналдың өткізгіштік қабілеті (Хартлей - Шеннон).
Өткізгіш
тілкемінің ені B
және қуаттылығы
аддитивті ақ гаусстық шулы идеал каналдың
өткізгіштік қабілеті тең болады
Мұнда, алдыңғыдағыдай, S – каналдың өткізгіш тілкеміндегі сигнал қуаттылығы. Мөлшерлілік C – бит/сек.
Үздіксіз
C
каналының өткізгіштік қабілетін
интерпретациялау үшін, өткізгіш
тілкемінің ені 1 Гц болатын (8.11) өрнекті
қарап шығамыз.
(8.5 суретте жартылай логарифмдік масштабта
орындалған) функциясының тәртібінің
сызықтық қасиетін асимптотикалық түрде
атап өтсек болады.
8.5 Сурет. Сигнал/шу қатынас функциясы ретіндегі өткізгіштік
тілкемтің 1 Гц-қа өткізгіштік қабілеті.
Сигнал/шу (Signal to Noise Ratio : SNR) қатынасы 0 дБ-дан жоғары берілген болсын. (8.11) формула бойынша, өткізгіштік қабілетті екі еселендіру сигнал/шу SNR қатынасының квадраттық жоғарлауын, яғни тоқтаусыз шуда тасымалдағыш қуаттылығының квадратын қажет етеді.
8.6 Сурет. Өткізгіштік тілкем ені, SNR, тасымалдау уақыты және тасымалданған ақпараттың максималды көлемі арасындағы қатынас.
Сигнал/шу қатынасы берілген болсын, B өткізгіш тілкемі және t тасымалдау уақыты берілген болсын. Сонда каналдың өткізгіштік қабілетін және берілген уақыт аралығында тасымалданған ақпараттың максималды көлемін анықтауға болады. Тағы назар салатын нәрсе, ақпараттың мән берілген v бит көлемінде, үш параметрдің (SNR, B, t) екеуін ерікті түрде түрлендіруге болады, ал үшінші параметр (8.11) қатынасынан және v = C ∙ t шартынан анықталатын болады. Бұл айтылғанның баршасы 8.6 суретте көрсетілген.
8.6 суретте белгілі бір уақыт арасында тасымалданатын ақпаратты SNR, B және t координаттарындағы параллелепипед көлемі ретінде елестетуге болады.
(8.11)
қатынасты ықыласпен қарап шықсақ,
маңызды сұрақ туындайды: өткізгіш
тілкемінің ені шексіздікке ұмтылса
каналдың өткізгіштік қасиеті қалай
өзгеретін болады? Жауабы айқын емес,
себебі тілкемнің кеңеюуі N
шу қуаттылығының жоғарылауына себепші
болады. Шу қуаты тоқтаусыз
спектральді тығыздықта өткізгіш
тілкемінің еніне пропорционал болады.
Тілкем қаншалықты кең болса, қабылдағыш
шығысындағы шу соншалықты көп болады
(8.7 сурет).
8.7 Сурет. Шектелген тілкемдегі ақ гаусстық шудың спектрі.
Шекті өткелді зерттейік
Ескерту.
Біз
шекті есептеуді жеңілдету үшін натурал
логарифмді қолдандық. Өткізгіштік
қабілеттің нат/сек өлшемділігінен
бит/сек өлшемділігіне өту (8.19) өрнегінің
оң жағын
-ге
көбейту арқылы жүзеге асады.
(8.12)-ні (8.13)-ші шектік өткелге қойып, анықталмағандықты аламыз
Анықталмағандықты Лапиталь қағидасы арқылы әшкерелеп, шектің ақтық мәнін аламыз
(8.15) өрнегі (8.13)-пен бірлесе Шеннон шекарасын анықтайды.
ААГШ-лы үздіксіз каналдың өткізгіштік қабілеті және өткізгіштің шексіз тілкемі тең болады
Байланыс
техникасында цифрлы ақпарат тасымалдау
кезінде жиі теріс шама қолданылады –
тасымалданған бит ақпаратқа тура келетін
сигнал энергиясы. Ақпараттық
бит/сек тасымалдаудың максималды
жылдамдығы келесі түрде анықталады
бір бит тасымалдаудың минималды ұзақтығы тең
Ақпарат
битін тасымалдауға сарп
етілетін
энергия
туындысы арқылы анықталады.
(8.18) және
(8.16)
қолданып, келесі бекітуге өтеміз.
Цифрлы ақпараттың бір битін тасымалдау үшін, ең азы энергияның битке қатынасы ақ гаусстық шу қуаттылығының спектральді тығыздығына теңесуі қажет
Ескерту.
Әдебиетте
шудың спектральді тығыздығы
емес,
ретінде анықталатынына назар салайық.
Бұл оң (8.19) бөлікте 1,42 дБ-ге тең қосымша
қиыстырудың пайда болуына әкеледі.
SNR,
B
және
биттік R
жылдамдық
арасындағы байланысты диаграмма түрінде
көрсетуге болады. Мұның үшін, ең әуелі,
(8.11)-де C
орнына R
және N
орнына
қоямыз,
қатысты теңсіздікке рұқсат береміз
және алатынымыз
Сол бөліктің өткізгіштік тілкемнен тәуелділігін (8.20)-ның екі бөлігін де B/R-ге көбейту арқылы жоямыз
Бір
бит ақпаратты тасымалдауға сарп етілетін
энергиясы
қатынасымен анықталады.
және
арасындағы тәуелділік 8.8 суретте
көрсетілген
