Тақырып №3. Энтропия

Берілген символдардың оқиға пайда болу ықтималдығы әр түрлі болсын.

P(0)=p P(1)=q=1-p

Онда осыған байланысты бір цифрда болатын информация мөлшері әр түрлі болады. Мысалы,

P (0)=0,99 P(1)=0,01

Осыларды логарифмдеу арқылы информация мөлшерін анықтайық.

- бит І=-

Ұзындығы n-ге тең хабарлама берілсін. Онда 0 және 1сандары кездеседі. Орташа алғанда 0 саны p*n кездессе, онда 1 саны q*n=n-p*n q*n=n*(1-p) кездеседі.

Әрбір цифрдағы информация мөлшерін білгеннен кейін ұзындығы n-ге тең хабарламадағы жалпы информация мөлшері қанша болатынын анықтауға болады. Бізде 0 –дің түсу ықтималдығы р, 1-дікі 1-р.

-р* q*n*

n-жалпы ұзындық, барлығын n-ге бөлсек орташа мәнін табамыз. Яғни біз бір символға келетін орташа информация мөлшерін анықтаймыз.

Біздің алфавиттерде N әртүрлі символдар болсын және олардың пайда болу ықтималдығы сәйкесінше p(1),p(2),….,p(n) болса, онда бір символға сәйкес келетін орташа информация мөлшері

Осы Н-тың мәнін берілген символдар ағынындағы энтропия деп атаймыз.

Мысалы: 1) Екі символды алфавит берілсін, яғни олардың кездесу ықтималдығы ½ тең. Бұл жағдайда энтропия 1 бит символға тең. 2) егер р(0)=0,99 p(1)=0,01 бұл жағдайда энтропия 0,08 бит символға тең болады, бірақ бұл шығарылған есептерде берілген ағындағы символдар бір-біріне тәуелсіз, яғни келесі символдардың пайда болуы алдындағы символға тәуелсіз болып келеді. Энтропия ұғымымен бірге информацияның шамадан тыс артық болу ұғымы өте тығыз байланысты. Мысалы: берілген хабарламада символдардың мөлшері шамадан тыс көп болуы мүмкін. Бірақ соған қарамастан олардың әкелетін информация мөлшері өте аз болуы мүмкін .

0 0 0

1 1 1 болса информация мөлшері 1.

Максималдық энтропиядан ағымдағы энтропияны азайтып max энтропияға бөлу арқылы артық информацияны білуге болады.

[шамадан тыс артық болу]

Негізгі әдебиеттер: [1, 2, 9]

Қосымша әдебиеттер:[11, 12

Тақырып №4. Фано-коды.

Екі алфавиттен тұратын символдар арқылы кез-келген хабарды кодтауға болады. Бірақ, біз хабарлардағы символдарды ұзындығы бірдей символдармен кодтадық. Ал мұндай тәсіл әрқашан дұрыс бола бермейді.

Мыслы: информацияда бір хабарлар өте жиі, ал екінші бір хабарлар өте сирек кездесуі мүмкін. Сондықтан, бірінші хабарды қысқа , ал екінші хабарды ұзын кодтармен берген тиімді болып табылады. Шығынды кодтық мәтіннің ұзындығы орта есеппен қысқа болады және оны беруге аз уақыт жұмсалады.

Бізге кездесу ықтималдығы болатын бір символдар жиыны берілсін. болсын. Осы информацияны ұзындығы 2-ге тең болатын кодтар арқылы өрнектейік. А₁ =00, А₂ =01, А₃ =10, А₄ =11 Бұлай кодтағанда әрбір информацияның ұзындығы 2-ге тең болады. Осы кодтауды, өзгеше, төмендегідей ұйымдастыруды қарастырайық. Ықтималдық кездесуге байланысты элементтерді шамамен 2-топқа бөлеміз. Бөлуді осы ережемен әрі қарай жалғастырамыз. Осыған сәйкес төмендегідей кодтау шығады.

	0
	1	0
	1	1	0
	1	1	1

Мәліметтерді бұлай кодтауды алғаш рет америка математигі Фано ұсынған.Осылай кодтау өте тиімді болып таабылады екен. Мысалы: бізге бір мың белгіден тұратын хабарламаны жіберуіміз қажет. Мұны І тәсілмен шығарсақ, әрбір символға екі бит сәйкес келегендіктен жалпы 2000 символ қажет болады.

L= кодтардың ұзындығы, - ықтималдығы.

L=1*1/2+2*1/4+3*1/8+3*1/8=1/2+1/2+3/8+3/8=4+4+3+3/8=

14/8=7/8=1,75

Екінші жағдайда әрбір кодтың орташа салмағы 1,75 –ке тең болғандықтан барлығы 1750 символ колданылады.

Негізгі әдебиеттер: [1, 2, 10]

Қосымша әдебиеттер:[11, 12]