9. Энтропия объединения. Условная, безусловная, взаимная, совместная.

Объед-ние-совок-ть 2-х и более взаимосвяз-х ансамблей дискретных случ-х переем-х.

ОбъединениеХУ:

Вероят-ть произвед-я совместных завис-й событий х и у = произв-ю безусловн-х вероят-й. р(х) или р(у)на условные вероят-ти р(у/х) или р(х/у):р(у/х)=р(х,у)/р(х); р(х/у)=р(у,х)/р(у);

Схема передачи дискретной инф-иипо каналу связи.Н(х),Н(у)-безусл-е энтропии источ-ка и прием-ка.(сред-ее кол-во инф-ии на символ подав-й ист-ком /прием-ком);Н(у/х),Н(х/у)-услоная энтропия у относ-но х или мера кол-ва инф-ии в приемнике,когда известно что перед-ся х.Н(х,у)-взаимная энтропия сис-мы передачи/ приема в целом или средняя инф-ия за пару перед-го или прин-го сигнала.Если в сис-ме нет потерь и искажений ,то условн. энтропия=0,а кол-во взаим-й инф-ии = энтропии ,либо ист-ка,либо прием-ка.

I(x,y)= H(x,y)=H(x)=H(y);

10. Кол-во информации и избыточность. Тезаурус.

А = {a₁, a₂,.., a_n} – массив информации, к – объём алфавита.

1. Должен использоваться одинаковый алфавит

2. Вероятность появления букв не равна

3. Чем длиннее сообщение, тем скорее мы его потеряем.

max H(A)= log₂ к = H₀ – максимальная энтропия

Если неопред-ть снимается полностью, то кол-во инфор-ии равно энтропии I=H; I= H₁ – H₂ – Общий случай (кол-во инф – послед-е уменьшение энторопии)

I’= log₂ Q= log₂ 1/p=- log₂ p – мера информации по Хартли, Q – число событий.

Избыт-ть инфор-ии:

Абсолютная избыточность представл. собой разнгость м/у возможным количеством инф-ии и энтропии.

Xабс= I’-H = H_max – H;

Относительная: Xu=(Hmax-H)/Hmax=1-H/Hmax;

Избыточность дискретного источника х обусловлена тем, что элементы сообщения не равномерны и между буквами существует связь

Xu=Xp+Xc-XpXc

Энтропия, шум, тезаурус. Под понятием тезаурус понимают запас знаний или словарь, испол-мый приемником инф-ии.

Ист-к (H-H2=I) отдано в канал(I_ - I_ )потеря на шум N,в приемник воспринято(I-Q)

I=H1-H2 поступает в канал, где часть инф-ии мен-ся, искаж-ся шумом N. Оставш-ся часть информ-ии I достигает прием-ка и восприн-ся в той степени в какой позволяет тезаурус. Если тезаурус неадекватен перед-ой инф-ии (очень мал или вообще отсутствует), то самая новая и полезная инф-ия не воспринимается в след-ии того что она не будет принята прием-ком с приемом новой инф-ии тезаурус может увеличиться.

11. Дискретизация информации. Квантование по уровню.

Преобразование непрерывного информац-го множества аналоговых сигналов в дискретные, наз-сядискретизацией или квантованием по уровню.

При квантовании по уровню диапазон возможных изменений функций разбивается на n интервалов квантований.

(a,b) – интервал квантования разбиваем на N частей.

X_i=X_i-X_i-1; i=1,2…n; с границами

X₀=a,X₁;…X_n-1,X_n=b.

В результате квантования любое из значений X принадлежащий интервалу X_i(X_i-1; X_i) округляется до некоторой величины X_i=i*X;

Величины X_i i=1,2…n носят название уровней квантования, при квантовании по уровню воспроизводится отображение всевозможных значений величины X на дискретную область, состоящую из величин Xi-уровней квантования.

Замена истинных значений функции X соответствующими дискретными значениями – уровнями квантования Xi вносят ошибку или шум квантования.

Квантование по уровню равномерное (частный случай) при котором интервалы (шаги) квантования одинаковы

X=X_i=X_i-X_i-1=(b-a)/n; i=1,2…n.