5.Статистическая мера информации. Связь вероятности информации.

Мера Хартли не отражает случайной возник. сообщений. Поэтому сущ. Необходимость в установлении связи м/у кол – во информ. и вероятностью появления соответствующего сообщения. При статистическом подходе рассматривается как мера вероятности появления соответствующего сообщения или события. В рамках такого подхода чем событие более вероятно тем меньше информ. о нем мы имеем и наоборот. Такой подход к оценки количественной информ. предложил 1946 американский математик Клот Шеннон. В общем случаии любые события можно рассматривать как исход любого опыта. Полная группа всевозможных исходов данного опыта наз. ансамблем событий. Вероятность любого из событий = значению Р_i, причем по теореме о полной вероятностиP1+Р2+…+РN=n=1. В реальных сообщений принимаемые символы имеют различную вероятностьP_i=n_i/N_i. Каждое такое событие несет некоторое кол- во информ.I_i= log_aP_i

I_ср=(n1*I1+n2*I2+….+n_k*I_k)/N=p1*I1+p2*I2+…+p_k*I_k=∑p_iI_i

I_ср=-∑p_i*log_aP_i =H-энтропия.

Способ измерения кол-во информ. предложенный Шенном, явл. Обобщение способа Хартли на случай неравно вероятных не зависимых сообщений. В общем случаи можно считать, что кол-во информ. характеризует уменьшение энтропии информ. системы. В результате процесса познания, если неопределеность ситуации снимается полностью то кол-во информ будет равно кол-во энтропии источника. В случаи неполного разрешения ситуации информ. которую мы сможем получить будет оценивается выражением ∆I=H1-H2.

6.Энтропия и ее основные свойства.

I_ср=-∑p_i*log_aP_i=H-энтропия.

Способ измерения кол-во информ. предложенный Шенном, явл. Обобщение способа Хартли на случай неравно вероятных не зависимых сообщений. В общем случаи можно считать, что кол-во информ. характеризует уменьшение энтропии информ. системы. В результате процесса познания, если неопределеность ситуации снимается полностью то кол-во информ будет равно кол-во энтропии источника. В случаи неполного разрешения ситуации информ. которую мы сможем получить будет оценивается выражением ∆I=H1-H2.

Свойства энтропии:

1.Э. изеряется в техже единицах что и кол – во иформ.

2. Знак «-» перед суммой означает что э. всегда положительна Н0, т.к 0< р<1logP<0

3.Э. достигает макс. значения если все события равно вероятны. Н=Н_max, ели Р1=Р2=Р_k

4.Э.=0, если Р_i=1

Среднее кол-во информ. выдаваемая источником сообщений в единицу времени наз. производительностью источника.Н’=Н/t [I’]=[H’]=бит/с

Для каналов передачи информации используют аналогичную характеристику наз. скорость передачи данных по каналу связи. Согласование производительности источника и скорости пер. дан. По каналам связям явл. Одной из важнейших задач в теории и практики систем пер.дан.

Раздел II. Переносчики информации

1.Физические сигналы и их математическое описание. Виды сигналов

Материальными переносчиками @ служат сигналы, представляющие собой любые физич. или иные процессы, удовл. след. усл-ю. Они допускают возможность упр-я пар-ми процесса в соотв-вии с выбранным алгоритмом, т.е. допускают возможность кодир-я сигнала. Эти процессы могут распространяться по соотв. каналам связи. Они м.б. восприняты и зарегистрированы соотв. конечными ус-вами.

В техн. сис. наиб. распространение получили процессы ЭМ природы. По хар-ру поведения во времени сигналы принято разделять на непр. и дискретные. В кач-ве непр. сигнала можно рассм. сигналы в виде перем. тока нек. частоты ω, мгновенное зн-е кот. i(t)=J_msin(cos)(ωt+φ_o). Гармонич. непр. сигналы в чистом виде не пригодны для передачи @ в силу их строгой периодичности во времени, поскольку знание исходных пар-ров такого процесса в нач.мом.вр. делает авт-ки известными зн-я пар-ров этого процесса в любой последующий мом.вр. Для передачи сообщений с пом. гармонич. сигналов необх. обеспечить изменение 1 из хар-ных пар-ров такого сигнала в соотв-вии с законом изменения контролируемого пар-ра в соотв-вии с передаваемым сообщением. Другими словами для передачи сообщений с пом. непр. гарм. процессов необ-мо вып-ть модуляцию пар-ров этого процесса.

Дискретные сигналы могут реализоваться в виде кратковременных отклонений использованного физического (или иного) процесса от стац. состояния. Такие сигналы принято называть импульсными. Если в кач-ве д.с. исп-ся кратковременное воздействие постоянного эл. тока, то такие сигналы наз-ся видеоимпульсами (ви). Если сигналы реализуются ввиде кратковременной посылки ограниченного числа ВЧ колебаний, то такой сигнал наз. радиоимпульсом(ри). Можно считать, что огибающая любого ри предст. соб. ви. В о.сл. форма ви или огибающая ри м.б. произвольной. Наиболее распространены импульсы след. формы.

На пр-ке для передачи @ преимущественно исп-ся неодиночные импульсы, а их последовательности, для кот. сущ-ют свои хар-ные пар-ры.

K=¹/Q=τ F_сл, F_c=1/T, Q=T/τ,

где К – к-т заполнения, Q – скважность.