Үзіліссіз және дискретті байланыс арналарының модельдері

Ақпарат санының статистикалық өлшемі – энтропия

Хартлимен ұсынылған ақпараттың санын анықтауға арналған (2.4) формуласы n бастапқы мәнімен құбылысқа сәйкес келетін жағдайды сипаттайды (мысалы, n көлемді алфавиттен хабар символының келіп түсуі). Бірақ барлық бастапқы мән тең (тең ықтималды) болып есептеледі. Бұл жағдайда олардың әрбіреуінің ықтималдығы және (2.4) мына түрде жазуға болады

(2.5)

pi символ ықтималдылығының әртүрлі мәнінің жағдайын қарастырайық. Бұл жағдайда әрбір символ беретін ақпараттың саны мен анықсыздығы алфавиттің әртүрлі символдары үшін әр қилы.

(2.6)

2.6 формуласынан ақпарат саны екіні көрініп тұр.

Бір құбылыстың (немесе хабар символының) орташа ақпараттылығын бағалау маңызды. Ықтималдыққа сәйкестігі есебінен Hi мәнін орташалай отырып, келесі формуланы аламыз

(2.7)

Бұл өлшемді энтропия деп атайды. Энтропия келесі құрамдардан тұрады:

• Ол теріс емес;

• ( ) бастапқы мәндердің біркелкі ықтималдылығы кезінде максимумға жетеді. Бұл жағдайда

• Ол минималды және и кезде нөлге тең.

сонымен, Pi ықтималдығын ерекшелеу есебінен хабартағы бір құбылыс немесе бір символдың бастапқы мәнінің орташа ақпараттылығы 2.8. формула бойынша анықталуы мүмкін

I = (2.8)

Осы кезде апостериорды (тәжірибеден кейін) анықсыздық жоқ деп есептеледі, ал статистикалық байланыстар есептелмейді. Бұл Шеннонмен ұсынып, дамытылды. Энтропияны ақпараттың статистикалық өлшемі деп те атайды.

(2.8) формуласы бойынша символдардың ақпараттылығын бағалау шартсыз ықтималдылыққа негізделген. Сәйкесінше, Н⁽¹⁾ энтропияны шартсыз деп атайды. Хабартардағы көрші символдар көбінесе бір-біріне тәуелді болатыны анық. Мысалы, орыс тіліндегі мәтінде дауысты әріптің пайда болуы ықтималдығы ұлғаяды, егер алдыңғысы дауыссыз болса және егер оның алдында екі дауыссыз әріптер қатарынан тұрса, ықтималдық одан да жоғары болады. Бұл жағдайда энтропия өлшемі келесі формула бойынша есептеледі:

I = (2.9)

Үзіліссіз және дискретті байланыс арналарының өту қабілеті

Қ оршаған орта туралы жүйені көрсету кезіндегі ақпараттың анықтамасына тоқталайық. Мұндай ақпараттың санын келесі жалпы формула бойынша анықтауға болады

(2.10)

мұнда Н_х – орта параметрлерінің әртүрлілілігін сипаттайтын анықсыздық;

Н_х/у – орта туралы жүйені көрсетудің толық еместігін және нақты еместілігін сипаттайтын анықсыздық өлшемі (Н_х/у =0 шегінде жүйе орта туралы бәрін білетінін білдіреді).

Адаптивті жүйелер үшін (техникада және тірі табиғатта) ақпараттың максимумдылық принципі әрекет етеді.

Дискретті арна және оның өткізгіштік мүмкіндігінің Шеннондық моделі

4.1-суретте Клод Шеннонмен ұсынылған ақпаратты тасымалдаудың дискретті арнасының моделі көрсетілген.

мұнда И –{z₁…z_n} n символдардан тұратын Z алфавитіне негізделген хабартар бастауы. Бастаудың (источник) орташа ақпараттылығы H_z (бит/символ) шартсыз энтропиямен, ал өндеудің орташа уақыты– t_z (с/символ) сипатталады.

Кд – кодер, {x₁…x_m} m символдардан тұратын X арнасының алфавитінде Z бастауының алфавитін түрлендіреді. Арна символының орташа ақпараттылығы H_x (бит/символ) энтропиясымен, ал бір символдың берілу уақыты– t_x (с/символ) сипатталады.

Декодер (Дк) (П) приемнигі үшін арна символын кодтаудан алып тастайды (раскодирует).

Кн арнасында p₀ ықтималдылығымен арнада қателік туындауы мүмкін, x_i символының шығысында y_i (жалпы жағдайда ) символы сәйкес келеді. Біз кең таралған екілік исмметриялық арнаны (m = 2, p₀ = p_1/0 = p_0/1) қарастырамыз. Мұндай нұсқада H_y = H_x, өйткені қателер «1» мен «0» ықтималдығының қатынасын өзгертпейді.

Арнаның бір символымен тасымалданатын I_xy ақпаратының орташа санын (4.1) формуласы бойынша анықтауға болады

мұнда H_x/y – шартты энтропия, егер y_i қабылданса, x_i қабылданған символдың анықсыздығын сипаттайды. 4.1. формуласының әртүрлі нұсқаларын пайдалана отырып, әртүрлі ракурстарда (көздері немесе приемник жағынан) арнаны қарастырамыз, мұнда арнамен енгізілетін анықсыздық бірдей (H_x/y = H_y/x) болып қалады.

Дәріс №10. Өзін-өзі тексеру сұрақтары немесе тесттер

1. Ақпаратты өлшеу

2. Байланыс арналары

3. Байланыс арналарының өту қабілеті

Дәріс №11. АҚПАРАТТЫҚ ҮРДІСТЕР – АҚПАРАТТЫҚ ЖҮЙЕЛЕРІНІҢ НЕГІЗДЕРІ. ТАСЫМАЛДАУ ҮРДІСІНІҢ МОДЕЛІ.

• Ақпараттан айырылу бағасы.

• Ақпараттың артықтығы туралы түсінік.