Бөлім №5
Стационарлы дискретті жадысы бар көздер
5.1 Энтропия
А
налогты
көздердің ақпараттар сигналы жолақ
бойынша шектеулі, сондықтан уақытта
корреливті болып келеді. Мысалы, біз
аналогты сөздік сигналын телефон
линиясында қолдана аламыз.Цифровкадан
кейін аналог көзі дискереттіге айналады,
мысалы 256 деңгейлі кванттық сигналдан
кейін, біз 8-ми биттік екілік бүтін сандар
аламыз 0 мен 255 дейінгі аралықта. 5.1
суретте көрсетілгендей екі көрші сандар
бір біріне жақын, өйткені телефон сигналы
жіңішке жиілікпен жолақ бойынша беріліп
жатыр. Көршілес сандардың нәтижиесінен
кейін, жады нәтижиесінде,яғни оның
(ақпараттың) белгізідік коэфициенті
аналогті көзге қарағанда төмендейді
,сондықтан маңызды тапсырма сығу әдісі
болады,әсіресе видеосигнал жібергенде,молынан
төмендейді.
5.1 Үзілмейтін сигнал
Дискретті жадысы бар энтропияны қалай анықтаймыз деген сұрақ келеді.Тапсырманың алгоритіміне қарайық.
Анықтама
5.1.1.
Дискретті Х көзін стохастикалық процесс
уақытында беруге болады,кезекті
жағдайы
алфавитінің көзіне жатады.
Ескерту.Шатаспас үшін,біз берілген алфавитті грекше әріптерпен жазамыз.Бұл жағдайда айнымалы n жағдайында кез келген санды Х алфавитінен ала алады.
Анықтама 5.1.2. Дискретті көз стационарлы болып саналады, егер бірлесу ықтималдығы кезекті жағдайға байланысты болмаса.Бірінші есептеу уақытынан.
Ескерту.Тәуелсіз бақылау есептеу нүктесінен анықталады,сонда біз кез келген уақытта таңдауды бастаймыз, яғни статистика уақыт басталғанан бақылауына тәуелді емес.
Анықтама
5.1.3.Стационарлы дискретті көздер
математикада түгелдей бар, егер барлық
бірлескен ықтималдықтар келсе яғни
кез келген таңдауға
ол
М→∞тұрса.
Дискретті стационарлы жадысы бар энропияның анықталуы екі тәсілмен шешіледі, бірдей нәтижиесге сол әкеледі.Бірінші тәсілде біз бірлескен энропияны қолданамыз, екінші тәсілде- шартты энропияны. Екі жағдайда да біз мына сұрақтарға жауап іздейміз: “Егер жады көзі бірнеше кезекті жағдайларға таралса, онда ол қандай қосымша басқа ақпараттық жағдайды әкеледі, егер блоктық жағдайдағы мәндер анықталып қойса?”
Тәсіл №1. Бірлескен энтропия.
Бірлескен
энтропия екі көзден
бірдей алфавитімен және бірдей жағдай
ықтималдығында анықталады
Жіберілуінің
анықталуы L кезекті көзіне
және энтропиясын табамыз
көзінен
Вектор
X=
және барлық компонент Х векторларының
қосындысын аламыз. L шексіздікке ұмтылса
біз барлық жады көздерін аламыз және
(X)
мәнін табамыз.Ол тең
Тәсіл №2. Шартты энтропия.
Шартты энтропия L дің жағдайына байланысты егер L-1 алдыңғы жағдай белгілі болса ,онда ол былай анықталады.
Сол жақ теңдікте (5.3) және (5.4) біз бірдей энтропияны мәнін жеке жағдаймен қолдандық, бұл фактты дәлелдеу қажет.Бұл дәлелдеуді 4 қадаммен анықтайық.
Теорема 5.1.1. Дискретті стационарлы жадысы бар көзге (x)<∞ орны бар:
1.
;
L блогіна байланысты ұзындығы өспейді.
2.
(X)≥H
;
3. (X) L блогінің ұзындығына байланысты өспейді.
4.
Дискретті стационарлы жадысы бар көз
(X)
(X)=
H
=
(X).
Дәлелдеуі.
1.Энтропия анықтамасынан , белгісіз көздің шарасын анықтаймыз, сәйкесінше ,санның өсуі белгісіздіктің бойына әсер етпейді, және кезекті энтропияға да.
2. Цепочка ережесі бойынша бірлескен энтропия
Ескерту. Цепочка ережесі бірлескен энтропияның болу ықтималдығына тең. Қарапайым мысал, цепочка ережесінің ықтималдығы р(х,у)=р(х/у)р(у)ир(х,у,z)=p(x/yz)p(y/z)p(z) тең. Сонда біз цепочка ережесін бірлескен энтропия үшін аламыз.
Энтропия әрқашан теңсіздікте болады.
Осыдан төменгі 2ші баға шығады.
3.5.5 суретте ең бірінші жіктеу қажет.
5.5 суретте бізге белгілі қатынас теңсіздігін аламыз.
Ауыстырудан кейін біз 3ші бекітуді аламыз.
4.Бекіту 1., 2. Және шектеуі Н1{Х)<оо б болу шегін қояды.Келесіде цепочка ережесін қолданып біз
1 бекітуге байланысты энтропияның оң жағы шартқа байланысты теңдік өспейді, сондықтан баға заңды.
J к шексіздікке ұмтылса біз,
Кез келген L натурал санына
Бірақ кез келген L натурал саны 2 дегідей орындалады, яғни 5.13 тегі L→∞ теңдігіне айналады.