6) Количественное определение информации. Энтропия и производительность дискретного источника сообщения

Количество информации , содержащееся в символе а_i, выбираемом из ансамбля ( ), где k - объем алфавита, с вероятностью , причем , определяется по формуле:

I(a_i)=-log₂P(a_i).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации. Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащейся в одном из двух выбираемых с равной вероятностью символов.

Энтропия источника независимых сообщений - среднее количество информации H(A), приходящейся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание случайной дискретной величины I(a_i), определяющей количество информации, содержащейся в одном случайно выбранном символе а_i:

.Если в единицу времени источник выдает в среднем V_u символов (скорость источника V_u) , то среднее количество информации, создаваемой источником в единицу времени Н(А)= V_u Н(А) = где Т_ср - средняя длительность одного символа. Характеристику Н(А) называют производительностью дискретного источника. Источник называют стационарным, если описывающие его вероятностные характеристики не меняются во времени.

Свойства энтропии:

1. Энтропия является непрерывной или дискретной, неотрицательной функцией P(a_i)

2. Энтропия = 0 тогда и только тогда, когда вероятность одного из состояний источника равна1

3. Энтропия максимальна, когда все состояния источника равновероятны, т.е. P(a₁)= P(a₂)= P(a_i)=1/к

4. Энтропия сложного сигнала полученного объединением двух независимых сигналов равна сумме этих энтропий.

Причинами избыточности являются:

1. неравные вероятности появления знаков (символов) на выходе источника

2. наличие вероятностных связей между символами.

В теории вероятности доказывается, что при заданном числе возможных состояний, энтропия максимальна при равном распределении вероятностей р₁=р₂=…=р_к=1/к.

Для двоичного источника без памяти, когда к=2, энтропия максимальна при р(а₁)=р(а₂)=0.5 и равна log₂2=1 бит.

Зависимость энергии этого источника от р(а₁)=1-р(а₂) показана на рис. 1.

При р₂=0 р₁=1 ,а при р₂=1 р₁=0.

Энергия Н при этих значениях равна 0.

7) Помехи и искажения

Под помехой понимается воздействие накладываемое на сигнал, т.е. помеха это нежелательное изменение сигнала. Шум - случайная помеха. Помехи разнообразны как по своему происхождению так и по физическим свойствам. В радио каналах наиболее распространены атмосферные помехи от грозовых разрядов. Индустриальные помехи возникают из-за резкого изменения тока в цепях электроустройств. В проводных каналах основным видом помех являются импульсные шумы и прерывание связи. Когда помеха влияет на сигнал в виде x = s + n, такая помеха наз. аддитивной. Если же помеха

x = µ(t) s, то называется мультипликативной, n - шум,

µ(t) - случайный процесс. В реальных каналах имеют место обе помехи:

x = µ(t) s + n. Аддитивные делятся:

1. флуктуационные или гладкие

( распределённые по частоте или времени)

2. сосредоточенные по частоте (гармонические)

3. сосредоточенные по времени (импульсные).

Флуктуационный – это непрерывный во времени с гаусовским распределением, мгновенным значениям и нулевым математическим ожиданием. Энергетический спектр такой помехи n0 в пределах анализируемой полосы частот Δf полагают равномерным (помеха типа белого шума) Часто такую помеху полагают стационарной и эргодической. Гармоническая – это аддитивная помеха, энергетический спектр которой сосредоточен в сравнительно узкой полосе частот сопоставимой или даже более узкой, чем полоса сигнала. Импульсная- это аддитивная помеха представляющая собой последовательность импульсов, возбуждаемых кратковременным ЭДС апериодического или колебательного характера. Шум представляет собой случайную помеху. Источниками шума в электрических цепях могут быть флуктуация тока из-за дискретной природы носителей зарядов (электроны, дырки, ионы) - это “дробовой эффект” Наиболее распространенной причиной распространение шума является флуктуации из-за теплового движения носителей заряда в проводнике вызывающие случайную разность потенциалов на его концах. Квадрат эффективного напряжения теплового шума определяется формулой Найквиста:

T-абсолютная температура которая имеет сопротивление R, Δf - полоса частот,

В реальном канале сигнал при передачи искажается и сообщение воспроизводится с некоторой ошибкой. Причинами ошибок являются искажения вносимые самим каналом и помехи. Частотные и временные характеристики канала определяют так называемые линейные искажения. Канал может вносить и нелинейные искажения обусловленные нелинейностью его звеньев. Линейные и нелинейные искажения обусловлены известными характеристиками каналов и в принципе могут быть устранены путем соответствующей коррекции. Помехи заранее известны и не могут быть полностью устранены.