5.Статическая и динамическая информация, шумы и код. Энтропия, ее измерение.

Инф. играет важ. роль в совр.мире. Без выделения спец. понятия энтропии невозможно дать полного понятия о работе тепловых машин. Впервые Л.Больцман дал статистич-ое опр-ие "энтропия характеризует недостающую инф.». А через 70 лет, когда Шеннон формулировал постулаты теории инф., оказалось что формула Больцмана тождественна опред-ию информац-ой энтропии. Соврем. понимание энтропии, как фундаментальное св-ву материи. Материальным носителем инф. явл. сигнал как средство хранения и передачи инф. Кроме полезной инф. мы можем пол. постороннюю, не нужную нам инф-, кот. принято называть в теории инф. шумом. Кодом м. наз-ть сис-му сигнального соответствия. Примерами кода явл-ся азбука Морзе, алфавит, жесты глухонемых и т.д. Важно согласование кодов для принимающей и передающей стороны. Все сигналы делятся на два типа по отн-ию времени. Это статич-ие и динам-ие сигналы. Счатич-ие более удобны для хранения инф. Это книга, фотография. магнитная пленка, компакт-диск Примером динамического сигнала явл-ся колебания воздуха при переносе речевых или муз. сигналов, колебания магнитного поля при переносе, радиоволн, световые вспышки и т.д. Основ. св-ом сигнала явл. его непредсказуемость. В противном случае-сигнал не несет никакой инф. получателю, если она уже известна. Сигналы раздел-ся на непрерывные и дискретные. Если множество возм-ых знач-ий сигнала дискретно, то его можно отнести к классу дискретных и в противном случае сигнал относят к классу непрерывных. Так же различают стационарные и нестационарные процессы в зав-ти от постоянства или изменчивости из статистич-их характер-ик. Рассм-.м 2 события из двух исходов каждое. Пусть 1-ое из них принимает исход А с вероятн-ю 0.99. 2-ое приним-ет исход А с вероятн-ю 0,5. Ясно, что в первом случае неопределенность мала, а во втором существенно больше. Рассм-.м вел-ну Н(А)=–log p₁-log p₂. Ясно, что для первого случая Н б. меньше, чем для второго. В общем сл-ае Н(А)=∑(от 1 до n) р_k log р_k наз-ый энтропией распред-ия р. Св-ва энтропии: 1) Энтропия = 0 в том сл-ае, когда одно из р равно 1, а остальные =0. 2) Энтропия достиг-ет наибольшего знач-ия при равенстве всех р. 3) если А и В независ-ые события, то энтропия суммы событий = сумме энтропии событий А и В. 4) С увелич-ем числа возмож-х состояний энтропия увелич-ся. Ед. энтропии явл-ся 1 бит = log₂2. Кроме того, для использ-ия в непрерыв-х процессах единица равная натур.у логарифму и наз-ая нит. Более простым опр-ем энтропии явл-ся log₂N де N-число возмож-ых состояний сис-мы. Опр-ие инф. в совре. терминологии звучит, как изменение энтропии за фиксированный промежуток вр. Если неопределенность за промежуток времени снята полностью, то инф. равна имевшейся энтропии. Избыточность инф. Большинство кодов предпол-ет избыточность инф., кот. позволяет бороться с искажениями сигнала. Относител-ое удлиненнее сигнала наз. избыточностью R. В дискретном сл-ае имеются 2 причины избыточности: неравновероятность символов и наличие статист-ой связи между ними. Др. важ. парам-ми явл. скорость передачи и пропускная спос-ть канала передачи и способность восприятия инф..