6. Үздіксіз информацияны өлшеуідің ықтималдылық тәсілі.

Х-үздіксіз шама. Р-ықтималдылық тығыздығының таралуы.

S(x)=I(x,x) – и/к энтропия.

S(x,y)= - ∑p_ij*log(2)p_ij;

Касиеттеры:

1. I(x,y)≥0; I(x,y)=0 и/я жок; x,y-тауелсз шама.

2. I(x,y)=I(y,x);

3. S(x)=0 б/са x=const.

4. I(x,y)=S(x)+S(y)-S(x,y);

5. I(x,y)≤I(x,x)

Егер I(x,y)=I(x,x), онда х=х(y)

7.Информациялық энтропия. Информация және информациялық энтропияның қасиеттері.

Энтропия қазіргі ғылымдағы ең іргелі, универсалды ұғым. Физика заңдылықтары түбінде белгілі физикалық шамалардың сакталу заңдарымен байланысты. Энтропия реалды процестерде сакталмайды, ол не өседі, не кемиді.

Алғаш рет энтропия түсінігін 1865 жылы Клаузис бос жүйенің термодинамикалық күйін функция ретінде енгізді, ол: S=δQ/T;

Q- жылу сыйымдылық, T-температура. Клаузис Больцман 1872 жылы энтропиянын теориялык өрнегін корытты: S=k*lnw;

k-тұракты шама, w-термодинамикалык ыктималдык. Информациянын орта мәнін информациялык энтропия деп атайды.

S(x)= - ∑p_i*log(2)p_i. Бұл Шеннон энтропиясы деп аталады.

Энтропия - ретсіздіктің өлшемі. И/к энтропия термодинамикалык энтропиянын барлык касиеттеріне не одан әрі өзгешелігі тепе теңсіз құбылыстарда колд. Тепе тендік күйде жіне к=1:

S(x)= - ∑p_i*log(2)p_i= k*lnw. Қасиеттері:

1. I(x,y)≥0; I(x,y)=0 и/я жок; x,y-тауелсз шама.

2. I(x,y)=I(y,x);

3. S(x)=0 б/са x=const.

4. I(x,y)=S(x)+S(y)-S(x,y);

5. I(x,y)≤I(x,x) Егер I(x,y)=I(x,x), онда х=х(y)

8. Информацияны жіберу жүйесінің моделі. Ақпарат немесе мәліметтің көзі. Көз кодері. Көз декодері.

Информацияны жіберудің радиотехникалық жүйесі ( ИЖ РТЖ )

информацияны ғана жіберуге арналған, объект, энергия немесе сигналды емес. Осындай жүйелерде электрмагнитті толқындар(сигналдар) көзден тұтынушыға информацияның тасымалдаушысы ғана ретінде қолданылады.

Информацияны жіберудің радиотехникалық жүйелеріне, немесе басқаша айтқанда байланысты типті жүйелерге, радиобайланыс жүйелер (мысалы, ұялы радиотелефондық байланыс), радиохабар мен теледидар жүйелер (спутник), радиотелеметриялық жүйелер (радиоканалмен өлшеулердің нəтижесін жіберуе арналған) жəне т.б. жүйелер жатады.

Информацияны жіберу жүйесінің радиотехникалық моделі жалпы түрі:

Бұл модель кез келген информацияны жіберу жүйесіне ие негізгі элеметтерден тұрса да, ИЖ РТЖ-н сипаттайтын тек қарапайым суреттеме болады, яғни ол ақпарат көзінен ақпарат алушыға дейін информацияны жіберу процесінде информациямен орындалатын амалдарды толығымен көрсетпейді.

Бұл ИЖ РТЖ-нің толық семасы:

Информация немесе мəліметтің көзі – бұл жіберетін мəліметті қалыптастыратын физикалық объект, жүйе немесе құбылыс. Мəліметтің өзі – бұл объект, жүйе немесе құбылыстың күйін бейнелейтін бір физикалық шаманың мəні немесе өзгерісі.

Алғашқы мəліметтердің бірнешесі – дыбыс, музыка, сурет жəне т.б. – адамның сезім мүшелерімен тура қабылдауға арналған жəне жалпы жағдайда байланыс каналымен нəтижелі жіберуге жарамсыз. Сондықтан λ(t) немесе Λ мəліметтерді таңбалайды(кодтау). Әдетте, таңбалау процедурасына λ(t) үздіксіз мəліметтерді дискреттеу процесі де кіргізіледі, яғни элементарлы дискретті мəліметтер{λi} тізбегіне айналдыру.

Таңбалау(код беру) дегенiмiз – информацияны бiр түрден екiншi түрге түрлендiру. Байланыс техникасында таңбалау хабарды ажыратылатын символдар тiзбегiне айналдыру операциясын бiлдiредi.

Көз кодері. ИЖ РТЖ моделінде көзді таңбалау деп информацияның жіберу жылдамдығын арттыру немесе жіберуге арналған жиілік жолын қысқарту мақсатымен оның көлемін азайту (сығу) деп білеміз.

Көз кодерінің шықпасында λ(t) немесе Λ жіберілетін мəліметтер бойынша информациялық тізбек деп аталатын X кодтық символдар тізбегі құрылады, ол бастапқы мəліметтің абсолютты дəл немесе жуықталған алғашқы түріне келтіруге мүмкіндік береді жəне мүмкіншілік болғанша қателіктер мөлшерін азайтады.

Көз декодері. Көздің информациясы (λ(t),Λ^⃗) жіберуге ыңғайлы болу үшін ол таңбалау процесінен өтті (берілгендерді қысу, экономды таңбалау, көздің таңбалауы), сондықтан қабылданған X^→∗ тізбек бойынша оның алғашқы қалпына келтіру қажет.

Λ^⃗∗ тізбекті X^→∗ тізбегі бойынша қалпына келтіру процедурасы көздің декодтауы (таңбаны шешу) деп аталады. Ол таңбалау амалына кері болу мүмкін (бұзылмайтын таңбалау/таңбаны шешу), немесе Λ^⃗ тізбегінен аз айырмашылығы бар Λ^⃗∗ мəнін жуықтап қалпына келтіреді(бұзылу таңбалау/таңбаны шешу).

9. Информацияны жіберу жүйесінің моделі. Канал кодер/декодері.

Информацияны жіберудің радиотехникалық жүйесі ( ИЖ РТЖ )

информацияны ғана жіберуге арналған, объект, энергия немесе сигналды емес. Осындай жүйелерде электрмагнитті толқындар(сигналдар) көзден тұтынушыға информацияның тасымалдаушысы ғана ретінде қолданылады.

Информацияны жіберудің радиотехникалық жүйелеріне, немесе басқаша айтқанда байланысты типті жүйелерге, радиобайланыс жүйелер (мысалы, ұялы радиотелефондық байланыс), радиохабар мен теледидар жүйелер (спутник), радиотелеметриялық жүйелер (радиоканалмен өлшеулердің нəтижесін жіберуе арналған) жəне т.б. жүйелер жатады.

Информацияны жіберу жүйесінің радиотехникалық моделі жалпы түрі:

Бұл модель кез келген информацияны жіберу жүйесіне ие негізгі элеметтерден тұрса да, ИЖ РТЖ-н сипаттайтын тек қарапайым суреттеме болады, яғни ол ақпарат көзінен ақпарат алушыға дейін информацияны жіберу процесінде информациямен орындалатын амалдарды толығымен көрсетпейді.

Бұл ИЖ РТЖ-нің толық семасы:

Канал кодері. Байланыс каналымен информацияны жіберген кезде бөгеттерден алынған берілгендерде қателер пайда болу мүмкін. Егер осындай қателердің шамасы аз болса немесе олар сирек кездессе, информацияны қолдануға болады. Қателердің саны біраз кезде информацияны қолдануға болмайды. Канал кодерінде қолданатын əдісті бөгетке тұрақты кодтау деп атайды. Бұл бөгеттері бар байланыс каналымен жібергенде пайда болатын қателер санын азайтуын қамтамасыз ететін жіберілетін берілгендердің өңдеу тəсілі. Бөгетке тұрақты кодтаулардың бірнеше əдістері бар, бірақ олардың барлығы келесіге негізделген: бөгетке тұрақты кодтау кезінде жіберілетін мəліметтерге арнайы түрмен ұйымдастырылған артықшылық кіргізіледі (жіберілетін кодтық тізбекке артық символдар еңгізіледі), ол қабылдағышта қатені тауып жəне түзетуге мүмкіндік береді. Осылай, егер көзді таңбалағанда мəліметтегі жаратылыс артықшылықты жоюға тырысса, каналда таңбалау кезінде жіберілетін хабарға артықшылықты əдейі еңгізеді. Канал кодерінің шықпасында нəтижесінде кодтық тізбек деп аталатын Y(X) кодтық символдар тізбегі пайда болады. Информацияны жіберген кезде бөгетке тұрақты кодтауы да, берілгендердің сығуы да міндетті операциялар емес. Бұл процедуралар(жəне ИЖ РТЖ құрылымдық схемасындағы сəйкесінше блоктар) жоқ болу мүмкін. Бірақ бұл жүйенің бөгетке тұрақтылығына елеулі шығын əкеледі, информацияны жіберу жылдамдығы азаяды жəне жіберу сапалығы төмендейді. Сондықтан қазіргі барлық жүйелер(тек ең қарапайым жүйелерді қарамағанда) берілгендердің тиімді де, бөгетке тұрақты да кодтаулардан тұру керек.