1.4 Шеннон энтропиясы мен Больцман энтропиясының арасындағы байланыс

Шеннон өлшемі мен Хартли өлшемі арасындағы өзара байланысты қарасырайық. Егер хабарда N жағдайлар бар болып, олар р ықтималды, онда

. (1.7)

Шеннон бойынша ақпараттың ықтималдылықты жағдайлардың айырмашылығы < Хартли бойынша ақпарат. Хартли бойынша екі теңықтималдылықты оқиға:

I=log 2 = 1 бит.

Шеннон бойынша: H=-(p₁log₂p₁+p₂log p₂) H=1 бит Max келесі жағдайда p₁=p₂=0,5

.

1.2 Сурет - Ықтималдылықты жағдайлардың айырмашылығы

1.4 Ақпарат түсінігі

«Ақпарат» терминін ежелгі кездерден түсінік беру, мазмұндау, түсіндіру үрдісін белгілеген. Кейін осы терминмен мәліметтін өзін және оның кез келген түріндегі таратуды атай бастады

Ақпарат – бұл объекттер мен үрдістердің қасиеттері туралы мәліметтер ғана емес, сонымен қатар адамдар арасындағы мәліметтер ауысу, адам мен автомат, автомат және автомат, жануарлар және өсімдіктер әлеміндегі хабар алмасу, тасушыдан тасушыға, ағзадан ағзаға белгі жіберу, осының бәрі ақпарат.

Ақпарат деп белгілі бір құбылыс, оқиға, объект туралы мәліметтерді айтады. Белгілі бір формада көрсетілген ақпарат хабар болып табылады, яғни хабар таратуға арналған, ал сигнал бұл хабардың материалды тасушысы. Кең мағынады ақпарат–бұл бізді қоршаған орта жайлы жаңа мәліметтер, бұл мәліметтерді біз қоршаған ортамен қатынаста болғанда аламыз. Ақпарат – дүниетанудың маңызды категориялардың бірі.

Қоғамда негізгі 3 түрлі ақпаратты бөліп көрсетуге болады: жеке, арнайы және көпшілік. Жеке ақпарат адамның жеке өміріне қатысты мәліметтер. Арнайы ақпаратқа ғылыми-техникалық, өндірістік, экономикалық және т.б. жатады. Көпшілік ақпарат адамдардың үлкен тобына арналған және бұқаралық ақпарат құралдары арқылы таратылады: газет, журнал, радио, теледидар.

Ақпарат кез келген түрде сақтау, тарату және түрлендіру объектісі болып табылады. Байланыс теориясы мен техникасында ақпаратты тарату кезіндегі оның қасиеттері қызықтырады және ақпарат деп қабылдаушыға белгісіз құбылыстар, оқиғалар, фактілер туралы мәліметтердің жүйесі қабылданады.

2 Дәріс. Бөгеусіз дискретті арна

Дәрістің мақсаты: бөгеусіз дискретті арнамен ақпарат таратумен танысу.

Мазмұны:

а) ақпарат таратудың бөгеусіз дискретті арнасы;

б) арнаның өткізу қабілеті;

в) бөгеусіз арнаның өткізу қабілеті үшін теорема;

г) бөгеусіз дискретті арнаның математикалық моделі.

2.1 Ақпарат таратудың бөгеусіз дискретті арнасы

Қарастырылып отырған бөгеусіз арналардың ерекшелігі болып шығыстағы Шеннон теориясының шарттарының орындалуы барысындағы қабылданған ақпараттың саны әр қашан хабарлама көзінен жіберілген ақпарат санына тең болады. Бұл жағдайда, егер кіріс каналға u_i сигнал түссе, онда шығыста жіберілген u_i сигналын анықтайтын _I сигналы пайда болады. Жіберу u_i және қабылдау _I жағдайында кедергісіз канал арқылы өткен ақпарат саны u_i сигналында болатын ақпарат санына тең болады:

J(u_i , _i)=log 1/P(u_i) . (2.1)

Мұндағы P(u_i) ықтималдық шамасы u_i сигналын жіберуге дейінгі болған u_i сигналына қатысты анықталмағандықты сипаттайды. _I қабылдағаннан кейін u_i және _I арасындағы анықталмағандық толығымен жойылады.