1 Дәріс. Сигнал, ақпарат және хабар

Дәрістің мақсаты: ақпараттың, хабардың, сигналдардың негізгі түсініктерімен және ақпарат энтропиясымен танысу.

Мазмұны:

а) хабар кездейсоқ үрдіс ретінде;

б) детерминирленген сигналдарды бейнелеу формалары;

в) Хартли өлшемі. Ақпараттың сандық бағасы;

г) энтропия тандаудың анықталмаған өлшемі ретінде;

д) Шеннон энтропиясының Больцман энтропиясымен байланысы;

е) ақпарат түсінігі.

1.1 Хабар кездейсоқ үрдіс ретінде

Кездейсоқ сигналдардың детерминирленген сигналдарынан негізгі айырмашылығы- t_н уақыт мезетіндегі шекті бөлігіндегі бақылаудан кейін олардың келешегін болжай алмау. Барлық кездейсоқ сигналдарды алдын- ала білу мүмкін емес. Сондықтан кездейсоқ сигналдардың лездік мәндерін табатын математикалық формула жоқ. Кездейсоқ сигналдардың негізгі өзгеру заңдылықтарымен ықтималдықтар теориясы айналысады, олар кездейсоқ құбылыстардың кездейсоқ емес және кездейсоқ құбылыстардың математикалық есептеулерін жүргізілуі арқылы алынған сипаттамаларын табу үшін қолданылады. Зерттеулер статикалық әдістер арқылы қолданылады.

Кездейсоқ процесс Х(t)- бұл мәндері t аргументінің кез- келген нақты мәні кездейсоқ шама болатын t уақыттық функция. Бұл анықтамадан көретініміз: егер бақылау кез-келген кездейсоқ шаманың Х уақыттағы өзгерісі кезінде жүргізілсе, онда бұл кездейсоқ үрдіс Х(t) болады. Гармоникалық сигналдың кем дегенде бір параметрі - кездейсоқ шама болса, онда ол да кездейсоқ үрдіс болып саналады.

ξ(t) кездейсоқ үрдіс болсын. Кейбір таңдалған уақыт мезетінде t₁ үрдістің әр түрлі орындалуы айрықша мәндерге ξ₁(t₁), ξ₂(t₁),…, ξ_n(t₁) ие болады. ξ(t₁) мәні кездейсоқ шама.

Кездейсоқ шаманың {ξ_k(t)} бірмәнді ықтималдық тығыздығы

t= t₁: . (1.1)

Кездейсоқ шаманың {ξ_k(t)} екімәнді ықтималдық тығыздығы

. (1.2)

туындысы мына ықтималдықты көрсетеді: t₁ уақыт мезетінде ξ(t) функциясы х₁ және интервалы арасында, ал t₂ уақыт мезетінде х₂ және интервалы арасында орналасады. Осылай үшмәнді, төртмәнді және т.б. бөлу заңдылықтары анықталады. Кездейсоқ процестің ең толық сипаттамасы болып n– мәнді бөлу заңы, яғни ξ(t) бөлу мәндері n-нің кез- келген таңдалған уақыт мезеті үшін.

. (1.3)

1.2 Детерминделген сигналдарды бейнелеу формалары

Ақпараттық параметрлердің құрылымына байланысты сигналдар келесідей болуы мүмкін:

- Үзіліссіз (аналогты).

- Дискретті.

- Дискретті – үзіліссіз.

1.1 Сурет - Сигналдардың бейнелеу формулалары

1.3 Хартли өлшемі. Ақпараттың сандық бағасы

Энтропия тандаудың анықталмаған өлшемі ретінде қаралады. Дискретті сигнал көзі-бір уақыт мезетінде кездейсоқ оқиғамен шекті көптеген U₁,…,U_n күйлердің бірін қабылдауы мүмкін, себебі күйлердің бірі көп, ал басқалары аз болса, ақпарат U ансамблмен сипатталады, яғни толық бірігу:

, . (1.4)

Таңдау өлшемін енгізу қажет.

Өлшеу енгізу шарттары:

1) Таңдау мүмкіндіктерінің көбеюіне байланысты өсудің бірізділігі күйлерінің санын алу мүмкін еді. Бірақ– болмайды! Себебі N=1 кезінде  таңдау жоқ. – Аддитивтілік шартын қанағаттандырмайды.

2) Аддитивтілік: 2 сигнал көзіндегі ақпарат олардың әрқайсысындағы ақпараттың қосындысына тең болуы қажет: I_=I₁+I₂.

Басқа жағынан: I_=f(MN) т.е. f(MN) = f(M) + f(N).

Бұл шарттарды орындауға болады, егер:

.

Ақпараттың логарифмдік өлшенуі 1928 ж. американ ғалымы Хартлимен тағайындалған. Егер негіз log=log₂ болса, онда ақпарат бірлігін бит-деп аламыз (binary digit).

Өкінішке орай, Хартли өлшемі ақпараттың ықтимал сипаттамаларын қарастырмайды. Мысалы: сигнал көзі  p₁=1, p₂=0;

- сигнал көзі  p₁=p₂=0,5.

Бірінші жағдайда, ықтималдық - жоқ және аяғы алдын ала белгілі, яғни 1-ші сигнал көзінен түскен хабарлама ақпарат қоспайды.

Екінші жағдайда, аяғы алдын ала белгісіз. Сондықтан 2-ші сигнал көзінен алынған ақпарат  max, яғни ақпараттың ықтималдық өлшемі келесі шарттарды қанағаттандыруы қажет:

- p₁ сигнал көзінің ықтималдық күйінің үздіксіз функциясы болуы мүмкін, p₂,…, p_N (p_i=1);

- максимумдық мәндер ықтималдықтардың теңдігі кезінде болады;

- ақпарат өлшемі таратылым функциясынан ғана тәуелді болуы қажет және оның нақты мәніне тәуелді болмауы қажет.

Ақпараттың ықтималдық өлшемі күйлердің ансамблден шексіз таңдауының әдісі ретінде Клод Шеннон ойлап тапқан:

- энтропия . (1.5)

Бұл жүйеде с=1 , онда:

. (1.6)