4.2 Сурет. Екі байланысқан дискретті дереккөз.
Екі дереккөздің бірлескен энтропиясы барлық жұп оқиғалардың ақпараттарының математикалық күтімі ретінде анықталады.
Екі Х және Y жадсыз дискретті дереккөздерінің бірлескен энтропиясы
Ескерту. Бұл жерде бірлескен оқиғалардың барлық жұптары қарап шығылған, яғни
Барлық жұп оқиғалардың шартты ақпараттарын ортақтастырып, шартты энтропияны аламыз.
4.1 Кесте. Жұм символдарының р(хі, уі) бірлескен ықтималдықтарын және жеке р(хі) һәм р(уі) символдарының ықтималдықтарын бағалау.
Екі Х және У жадсыз дискретті дереккөзінің шартты энтропиясы
(4.14)-те
-ті
-ке
және
-ке
алмас- тырсақ, шығады
Осылайша,
бірлескен энтропия бір дереккөздің
энтропиясының және басқа бір дереккөздің
энтропиясының біршама бөлігінің
қосындысы ретінде көрсетілуі мүмкін.
Тәуелсіз дереккөздер үшін екінші
дереккөздің энтропиясы қосындыға
толықтай кіреді, себебі
және
.
Байланысқан дереккөздер үшін әрдайым
Сондықтан, жалпы жағдайда, орынды болатын
4.3. Қорытындылар
Алдыңғы бөлімдерде келтірілген барлық тұжырымдар математикалық формада 4.3 кестеде көрсетілген. Ақпараттар теориясының негізгі идеясы дереккөз ақпаратын анықталмағандық шамасы ретінде көрсету болып табылады. Бұл анықталмағандық осы дереккөздің алфавитіндегі кездейсоқ оқиғаларға жүргізілген тәжірибелер арқылы айқындалады. Мұндай қадам кестенің үш бағанын түсіндіреді.
Ақпарат кездейсоқ оқиғалардан негізделген соң, бірінші бағанға оқиғалар ықтималдығы және жұп оқиғалардың бірлескен ықтималдығы негізгі шамалар ретінде түсінігі енгізіледі. Жұп оқиғалар үшін шартты ықтималдық түсінігі енгізіледі. Екінші бағанда оқиға ақпаратының және жұп оқиғалар һәм шартты және өзара ақпараттар анықтамасы беріледі. Соңғы үшінші бағанда энтропияның дереккөз анықталмағандығы ретіндегі түсінігі енгізіледі.
Дереккөз энтропиясы екі дереккөздің бірлескен және шартты энтропиялары сәйкес оқиғалар ақпаратының математикалық күтімі ретінде түсіндіріледі. Шартты ықтималдық – басқа оқиға жүзеге асқандағы бір оқиғаның ықтималдығы, сондықтан шартты ақпарат және шартты энтропия түсініктері шартты ықтималдықтан шығады.
4.3 Кесте. Символды жадсыз х және y дискретті дереккөздері.
Өзара ақпараттың ықтималдықтар теориясында аналогы жоқ. Бұл ақпараттық техникада негізгі рөл атқаратын ақпараттар теориясын жаңадан түсіну. Өзара ақпарат канал түсінігін ол арқылы ақпарат тасымалдау мүмкіндігімен байланыстырады. Бұл түсінік осы кітаптың 7 бөлімінде толық қаралады.
5 БӨЛІМ
СТАЦИОНАРЛЫ
ДИСКРЕТТІ ЖАДТЫ
ДЕРЕККӨЗДЕР
5.1. Энтропия
Ақпараттың аналогтық дереккөздерінің сигналдары сызық арқылы шектелген, сондықтан уақытта салыстырылған. Мәселен телефондық желідегі ұқсас сөйлесу сигналы мысал бола алады. Белгілеуден соң, ұқсас дереккөз дискреттікке айналады, және, мәселен, сигналды 256 деңгейге кванттаған соң, біз 8-битті 0-ден 255-ке дейінгі екілік толық сандар реттілігін аламыз. 5.1 суретте көрсетілгендей екі жақын сандардың мәндері ұқсас, себебі телефондық сигнал жиіліктің тар алқабында тасымалданады. Жақын есептеулердің уақытша қатынасына, яғни есептеу жадына байланысты, оның анықталмағандығы (ақпарат) ұқсас жадсыз дереккөзге қарағанда төмендейді, сол себепті қысу тәсілдерінің негізгі мақсаты, әсіресе видеосигналдарды тасымалдау кезінде, шығынның төмендеуі болып табылады.
