Мера информации

Так как информация - мера незнания, новизны устраняемой сообщением, то эту неожиданность можно характеризовать обратной вероятностью 1/р. По здравому смыслу I - количество информации должно быть неубывающей функцией от 1/р I=f(1/p) . Очевидно, что f(1)=0 так как достоверное не нуждается в подтверждении. При выборе этой функции f необходимо чтобы она была аддитивной, то есть результирующая информация о двух независимых событиях равнялась сумме информации о каждом.

F(V₁V₂)=f(V₁)+f(V₂)* V=1/p f(V)0 f(1)=0

дифференцируя * по V₁ и V₂ V₂f'(V₁V₂)=f'(V₁)

V₁f'(V₁V₂)=f'(V₂)

отсюда f'(V₁V₂)=f'(V₁)/V₂

f'(V₁V₂)=f'(V₂)/V₁

или V₁f'(V₁)=V₂f'(V₂) т.к. V₁ и V₂ независимы Vf'(V)=C интегрируя f(V)=I(V)=C ln V+C₁ C₁=0 I_v=c ln U или I=log_AV

Если I=1 т.е. получена единица информации log_AV=1 V=A V=1/p a P=1/A это вероятность сообщения о результате из A ожидаемых равноправных вариантов.

Основание log говорит, во сколько раз единица информации сокращает наше «незнание».

I=log₂ 1/p бит 2 раза

I=ln 1/p нит =1,44269 бит 2,718 раза

I=lg 1/p дит (Хартли)=3,32193 бит 10 раз

Если алфавит содержит "m" элементов, а в сообщении "n" знаков, то число возможных сообщений N=mⁿ в предположении что вероятности появления элементов равны. Информация при получении конкретного сообщения

I=log_аN=log_аmⁿ=n log_am

Количество сведений на один элемент или I'=I/n=log_am - энтропия источника информации. Если элементы не равновероятны

n h₁ h₂ h₃ ....h_i ...h_m

p p₁ p₂ p₃ ... p_i ...p_m из этого алфавита составлено сообщение, всех элементов в сообщении n=n₁+n₂+n₃+...n_i+..n_m n= вероятность что элементов h_i будет n_i равна p_i=p_iⁿⁱ

Вероятность сообщения p=p₁ⁿ¹ h₂ⁿ²...p_m^nm=

Так как сообщение достаточно велико n_i=p_in

тогда p=1/N= I=log_AN=-n

I₁=- - энтропия источника

I₁= при равновероятном алфавите

Распределение вероятностей обеспечивающее максимум энтропии.

I= для источника с конечным числом состояний (алфавит конечный)

I=- для источника сигнала непрерывного _(X) функция плотности вероятности.

Возможно выделить 2 случая.

1. когда ограничена ² то есть ограничена D дисперсия. Физический смысл такого ограничения - ограничена мощность источника.

2 случай, когда  не ограничена этот* случай представляет скорее теоретический интерес.

1. I=-

1= чтобы _(x) могла быть функцией плотности вероятности

полагает, что M(x)=0

Это вариационная задача с дополнительными ограничениями, задача на условный экстремум.

Такая задача решается следующим образом. Если задан функционал V= и дополнительные ограничения ,то строится новая функционал где _i постоянные ***и*** экстремум решением уравнения Эйлера.

(V*)¹/F_(x)+d(V*')/dx(F')=0

V*'=F_(x)+_iF_i(x) F'=dF/dx

В нашем случае

F=-_(x)ln_(x) F₁=_(x) F₂=x²_x

V*=

V*¹=-_(x)ln_(x)+₁_(x)+₂x²_(x)

V*¹ не зависит от d_(x)/dx и уравнение Эйлера может быть записано (V*)¹.d=0=-ln-1+₁+x²₂

из

из

это нормальное распределение.

2. Если ² не ограничено, то

V*'=-ln+ (V*')/x=-ln-1+=0

=e^-1=cost т.е. равномерное распределение.

Избыточность

Практически никогда I_ucmI_max так как трудно обеспечить нормальное распределение элементов алфавита. Только если состояния элементов алфавита равновероятны I_ucm=I_max.

D_абс=I_max-I_ист избыточность абсолютная

D_относ.=I_max-I_ист./I_max=1-I_ист/I_max избыточность относительная

Помехи. Виды помех и искажений

1. Шум: Сигнал статистически не связанный с передаваемой информацией.

а) Регулярный с характерной формой кривой

"Фон" шум с частотой питания или ее гармоник

"Вой" шум обусловленный нестабильностями в цепях обратной связи.

"Искровой шум" от коллекторного двигателя, от систем зажигания.

б) Нерегулярный. Атмосферные помехи. Микрофонный эффект от вибрации, искрение при включении и отключении RLC цепей.

2. Переходные помехи. Сигналы, мешающие для нашего канала, но полезные в другом.

Переходная связь между каналами, интерференция между каналами

"Собачий лай" сигнал с обращенной частотой от соседних каналов.

3. Искажения: сигналы статистически связанные с полезным сигналом.

1. Неравномерность частотно фазовых и частотно амплитудных характеристик.

2. Нелинейность элементов схем. Необратимые искажения - эффект отсечки P_cP_мах, потеря точности.