7.Понятие энтропии. Энтропия ансамбля.

Энтропия-мера неопределенности пол-го сообщения.

Ансамблем наз-ся полная группа событий или поле несовместных событий с известным распределением вероятностей, состовляющих 1.Энтропия ансамбля-кол-ая мера его неопределенности, а значит информативности. Энтропия количественно выр-ся как средняя ф-ия множества вероятностей каждого из воз-ых исходов опыта. N-кол-во возм. исходов;

k-кол-во без повторений, ni-повторения,Ii-кол-во инф-ии i-го опыта.

ni/N=Pi,

H=Iср

Для натур-го логарифма ед-цы измер-я 1Нит. Для десятичного 1Дит. 1Нит.=1,44 бит;1Дит.=3,3219 бит. Энтропия м.б. определена как среднее кол-во инфор-ии на одно сообщен-е или мат. ожид-е кол-ва инфор-ии для измер-й вх-й вел-ны х. H(x)=M[I(x)];

Свойства фун-ии H(p):

1)H(p)-непрерывна на интервале 0≤p_i<1, т.е. при малых изменениях P велич. энтропии мало измен-ся.

2)H(p) симметр-но отн-но веороятности р, т.е. не измен-ся при любой перемене мест аргумента p_i

3)H(p₁,p₂,...p_k-1 ,q1,q2) =H(p₁,p₂...,P_k)+Pk*H (p₁/p_k,p₂/p_k)

Имеется система событий из К событий. Одно событие Рк состоит из 2-х: q1 и q2 (q1+q2=Pk)

Общая энтропия системы будет равнятся сумме 2-х энтропий: а) Энтроп. Неразветв. Сис

б) Произведение веса Рк и энтропии, состоящей из условных событий

H(1/2;1/3;1/6)=H(1/2;1/2)+1/2*H(2/3;1/3)

4) Энтропия всегда неотрицательна

5)Энтропия = 0 в том крайнем случае, когда вер-ть появл одного события равна 1, а всех остальных = 0;

6)Энтропия имеет наибольшее значение в том случае, когда вер-ти свершения всех событий равны.

7) Логарифмическая информация численно равна кол-ву информации, опред мерой Хартли.

8.Свойства энтропии.

Неопред-ть в каждой ситуации хар-ся вел-й наз-ой энтропией

1)H(p)-непрерывна на интервале 0≤p_i<1, т.е. при малых изменениях P велич. энтропии мало измен-ся.

2)H(p) симметр-но отн-но веороятности р, т.е. не измен-ся при любой перемене мест аргумента p_i

3)H(p₁,p₂,...p_k-1 ,q1,q2) =H(p₁,p₂...,P_k)+Pk*H (p₁/p_k,p₂/p_k)

Имеется система событий из К событий. Одно событие Рк состоит из 2-х: q1 и q2 (q1+q2=Pk)

Общая энтропия системы будет равнятся сумме 2-х энтропий: а) Энтроп. Неразветв. Сис

б) Произведение веса Рк и энтропии, состоящей из условных событий

H(1/2;1/3;1/6)=H(1/2;1/2)+1/2*H(2/3;1/3)

4)Энтропия всегда неотриц-на, т.к. знач-е вероят-й выраж-ся дроб-ми велич-ми: log₂p_i=-(-Q_i),а их log отриц.;

5)Энтропия=0, в том случае, когда одно событ.=1, а остал-е=0;Это когда о величине изв-но все заранее и рез-т не приносит новой инф-ии

6)Энтропия имеет max знач-е в том случае, когда все вероят-ти равны м/у собой. ПРИМЕР

H=-log₂(1/k);p1=p2=..=-pk=1/k

K=h,h-глубина алфавита; Q=h^l,l-число букв в слове. l=1, то I=log₂Q=log₂h.

Совпадение оценок кол-ва инф-ии по Шеннону и по Хартли свид. о полном использовании информац. емкости системы (только при равновер.)

В случае не равных вероятностей кол-во инф-ии по Шеннону меньше инф.емкости.

P1=P2=0,5

=1бит

P1=0,9 P2=0,1

;

P1=1,P2=0,H=0 бит

9. Энтропия объединения. Условная, безусловная, взаимная, совместная.

Ансабль Х из N событий

Ансамбль Y из M событий

Объед-ние-совок-ть 2-х и более взаимосвяз-х ансамблей дискретных случ-х переем-х.

ОбъединениеХУ:

Вероят-ть произвед-я совместных завис-й событий х и у = произв-ю безусловн-х вероят-й. р(х) или р(у)на условные вероят-ти р(у/х) или р(х/у):р(у/х)=р(х,у)/р(х); р(х/у)=р(у,х)/р(у);

Схема передачи дискретной инф-ии по каналу связи.Н(х),Н(у)-безусл-е энтропии источ-ка и прием-ка.(сред-ее кол-во инф-ии на символ подав-й ист-ком /прием-ком);Н(у/х),Н(х/у)-условная энтропия у относ-но х или мера кол-ва инф-ии в приемнике,когда известно что перед-ся х.Н(х,у)-взаимная энтропия сис-мы передачи/ приема в целом или средняя инф-ия за пару перед-го или прин-го сигнала.Если в сис-ме нет потерь и искажений ,то условн. энтропия=0,а кол-во взаим-й инф-ии = энтропии ,либо ист-ка,либо прием-ка.

I(x,y)= H(x,y)=H(x)=H(y);

10. Кол-во информации и избыточность. Тезаурус.

Н(А) = _i=1 ^kp(ai) log₂ p(ai); p(ai) = 1/k – макс неопред возникает, когда все события равновероятны. Кол-во информации связ с энтропией. Получение любой инф идет путем уменьшения неопр (энтропии)

А = {a₁, a₂,.., a_n} – массив информации, к – объём алфавита.

1. Должен использоваться одинаковый алфавит

2. Вероятность появления букв не равна

3. Чем длиннее сообщение, тем скорее мы его потеряем.

max H(A)= log₂ к = H₀ – максимальная энтропия

Если неопред-ть снимается полностью, то кол-во инфор-ии равно энтропии I=H; I= H₁ – H₂ – Общий случай (кол-во инф – послед-е уменьшение энторопии)

I’= log₂ Q= log₂ 1/p=- log₂ p – мера информации по Хартли, Q – число событий.

Избыт-ть инфор-ии:

Абсолютная избыточность представл. собой разность м/у возможным количеством инф-ии и энтропии.

Xабс= I’-H = H_max – H;

Относительная: Xu=(Hmax-H)/Hmax=1-H/Hmax;

Избыточность дискретного источника х обусловлена тем, что элементы сообщения не равномерны и между буквами существует связь

Xu=Xp+Xc-XpXc, Хс – хар-ка связи между буквами

Энтропия, шум, тезаурус. Энтропия-мера неопределенности пол-го сообщения. Шум-случайные помехи. Под понятием тезаурус понимают запас знаний или словарь, испол-мый приемником инф-ии.

Ист-к (H-H2=I) отдано в канал(I_ - I_ )потеря на шум N,в приемник воспринято(I-Q)

I=H1-H2 поступает в канал, где часть инф-ии мен-ся, искаж-ся шумом N. Оставш-ся часть информ-ии I достигает прием-ка и восприн-ся в той степени в какой позволяет тезаурус. Если тезаурус неадекватен перед-ой инф-ии (очень мал или вообще отсутствует), то самая новая и полезная инф-ия не воспринимается в след-ии того что она не будет принята прием-ком. с приемом новой инф-ии тезаурус может увеличиться.

11. Дискретизация информации. Квантование по уровню.

Виды сигналов: - аналоговые, - дискретные, - квантованные

Аналоговые сигналы принимают бесконечное количество значений, их функция непрерывна. Дискретными называют сигналы, у которых хотя бы один из параметров отличен от нуля

только при определенных знач аргумента

описывающей его функции.

Квантованные сигналы-это физ процесс, основная хар-ка которого может принимать фиксированное множество значений в пределах диапазона измерений.

Преобразование непрерывного информац-

го множества аналоговых сигналов в дискретные, наз-ся дискретизацией или квантованием по уровню.

При квантовании по уровню диапазон возможных изменений функций разбивается на n интервалов квантований.

(a,b) – интервал квантования разбиваем на N частей.

X_i=X_i-X_i-1; i=1,2…n; с границами

X₀=a,X₁;…X_n-1,X_n=b.

В результате квантования любое из значений X принадлежащий интервалу X_i(X_i-1; X_i) округляется до некоторой величины X_i=i*X;

Величины X_i i=1,2…n носят название уровней квантования, при квантовании по уровню воспроизводится отображение всевозможных значений величины X на дискретную область, состоящую из величин Xi-уровней квантования.

Замена истинных значений функции X соответствующими дискретными значениями – уровнями квантования Xi вносят ошибку или шум квантования.

Квантование по уровню равномерное (частный случай) при котором интервалы (шаги) квантования одинаковы

X=X_i=X_i-X_i-1=(b-a)/n; i=1,2…n.

Процесс квантования не исключает возм появления помехи и не устраняет действия этих помех, а просто заменяет одну помеху на другую. Процесс квантования предотвращает накопление помех.

Ошибка шума будет мин, если выбрана равномерная дискретизация и если уровень квантования будет выбираться в середине интервала дискретизации. Ошибка не превышает половины шага квантования.