Статистическая мера информации

1) Вероятность и информации.

При вероятностном подходе информация рассматривается как сообщение об исходе случайных событий, величин, функций.

Малоинформативным считается такое событие или сообщение, вероятность которого очень мала, то есть событие почти невозможно.

Например, часы идут (p), часы стоят (q).

События и антисобытия образуют пару элементарных однопредметных событий, который является простыми, неделимыми, обозначаются как «да» и «нет», являются квантами информации.

События могут быть двухпредметные и заключенные в выборе одного из двух возможных предметов; например, черного или белого шаров в коробке (4 события).

Будем в дальнейшем под событием понимать элементарное двухпредметное событие, которое может быть с вероятностью q=0, р=1.

Если q=0,5 и р=0,5, то имеет место наиболее неопределенная ситуация.

Событие можно рассматривать как возможные исходы некоторого опыта, причем исходы этого опыта составляют ансамбль или полную группу события.

Полная группа событий характеризуется тем, что полная сумма вероятностей событий равна 1.

Опытом может быть измерение случайной величины, которая принимает различные значения.

Исходы опыта	A1	A2	…	Ai	…	Ak-1	Ak
Значение измеряемой величины	x1	x2	…	xi	…	xk-1	xk
Вероятность исхода или значения	p1	p2	…	pi	…	pk-1	pk

2) Понятие энтропии.

Неопределенность каждой ситуации характеризуется величиной, называемой энтропией.

Понятие энтропии широко используется в физике.

Впервые понятие энтропии использует Клаузис в термодинамике.

Оно обозначает вероятность теплового состояния вещества, в математике – неопределенность ситуации при решении задачи, в информатике – для определения способности источника отдавать информацию.

Все эти понятия родственны между собой и характеризуют или отображают степень богатства и неожиданности состояния.

Согласно второму закону термодинамики (закон Больцмана), энтропия замкнутого пространства выражается формулой:

3) Неопределенность

Чтобы измерить количество информации, исходя из понятия неопределенности, человек ставит себя на место приемника действительной или возможной информации. В этом случае конкретное количество информации он рассматривает как результат определенного выбора среди возможных вариантов сообщений, где этот выбор производится.

Слово «выбор» несет важный смысл в принятой в теории информации точки зрения. Понятие «количество информации» связано с неопределенностью и неправдоподобием конкретной информации безотносительно к ее структуре.

Другими словами, мы совершенно не интересуемся ее семантическим содержанием. Согласно концепции неопределенности, информация является абстрактной, исключающей связь с ее содержанием.

Одна из трудностей определения количества информации таким методом состоит в том, что приемник возможной или действительной информации может знать заранее или догадываться о ее частях.

Шеннон взглянул на все виды информации совершенно с другой точки зрения с новой позиции: информация несет уменьшение неопределенности в наших знаниях.

Принимая решения «да/нет», мы снижаем неопределенность в 2 раза. Если вероятности «да» и «нет» равны, то наше решение содержит всего 1 бит информации.

Шеннон доказал, что количественная оценка информации, которую несет один символ («да/нет», буква, цифра), требует учета неожиданности его появления, т.е. вероятности. Чем реже появляется символ, тем реже происходит некоторое событие, тем меньше его вероятность, тем больше оно несет информации.

Следует отметить, что энтропия – это мера беспорядка или неопределенности следующего состояния. Она имеет тенденцию к росту и имеет максимальное значение только тогда, когда последовательность символов случайная или полностью непрогнозируемая.

Полностью прогнозируемый источник называется безэнтропийным.

Количество информации обратно пропорционально вероятности.

Чтобы измерить количество информации с помощью понятия неопределенности, необходимо рассматривать конкретное количество информации как выборку из множества альтернативных количеств информации.

По Шеннону: информация = устранение неопределенности.

Виды вероятности:

1) априорная;

2) апостериорная.

Энтропия – это мера информации, которую мы ожидаем получить в будущем. Это средняя информация, принимаемая в отношении возможных исходов.

Э. Шредингер: энтропия – это мера дезорганизации систем любой природы.

Мера простирается от максимальной энтропии до ее исчезновения, соответствующего наивысшему уровню или порядка.

Таким образом, информация – мера упорядочивания, а энтропия – мера беспорядка.

4) Энтропия ансамбля.

Ансамблем называется полная группа событий, иначе поле несовместных событий с известным распределением вероятностей, которые в сумме составляют 1. Количество событий конечно.

Энтропия для ансамбля есть количественная мера его неопределенности => формативность.

Пусть N – возможные исходы опыта. Из них k – разные, i-тый исход, где i=1,2...k, n раз повторяется и вносит информацию, которая оценивается как I_i, тогда средняя информация, доставляемая одним опытом, может быть записана:

Но так как количество информации в каждом исходе связано с его вероятностью р_i и выражается формулой:

,

то средняя информация может быть записана как:

(*)

Энтропия количественно выражает среднее количество информации как множество случайных исходов.

Энтропия, которая была выбрана Шенноном, отвечала следующим требованиям:

1) энтропия непрерывна на [0,1], т.е. при малых изменениях p величина Н изменится мало;

2) H(P) симметрична относительно Р, т.е. неизменна при любой перемене мест аргументов;

3) энтропия вещественна и неотрицательна;

4) энтропия – ограниченная величина.

При р=0 количество информации и энтропия совпадают.

Событие маловероятно, практически невозможно, следовательно, оно не может совершиться, количество информации = 0.

При р=1 событие состоялось, энтропия = 0, I = 0, никакой новой информации нет.

При р=0,5 энтропия полная, максимальное количество информации.

Виды энтропии:

1) безусловная энтропия H(x), H(y)

H(x)>=H(x|y)

H(x)=H(x|y)+H(xy)

2) условная энтропия H(x|y), H(y|x)

H(x|y)=H(x)-H(xy)

3) энтропия объединения H(x,y)=H(y,x)=H(x)+H(y)-H(xy)

4) взаимная энтропия H(xy)=H(yx)

Н(х) – безусловная энтропия источника х или среднее количество информации, приходящееся на символ, который вырабатываются источником.

Н(у) – безусловная энтропия получателя или среднее количество информации, приходящееся на символ, получаемым приемником.

Н(х*у) – взаимная энтропия системы передачи приема или средняя информация, приходящаяся на пару символов: отправленного и принятого.

Н(х|у) – условная энтропия у относительно х или мера информации в приемнике, когда известно, что передается х и принимается у.

Если в данной системе нет искажений или потерь информации, то условная энтропия = 0.

Н(х|у) = 0.

Н(у|х) = 0.

Количество взаимной информации равно либо энтропии источника, либо энтропии приемника.

Вероятность произведения (совпадения) совместных зависимых событий Х, У равно произведению безусловной вероятности Р(х) или безусловной вероятности Р(у) на условную вероятность.

Условная энтропия и взаимная информация.

Формула энтропии (*) характеризует информационное свойство одного дискретного источника или ансамбля источников.

Однако на практике очень часто представляет интерес выявление количества информации, содержащейся в одном ансамбле сообщений U с объемом алфавита N относительно другого ансамбля.

В общем случае зависящего от него ансамбля Z с объемом алфавита М.

В качестве источника U можно рассматривать ансамбль сообщений U и сигнала Z, с помощью которых передают сообщения Z.

Для определения такой характеристики введется понятие условной энтропии.

Обозначение Н(U|Z), которое определяет среднее количество информации, которое дает сообщение ансамбля Z уже известно.

Если оба ансамбля U и Z имеют независимые элементы, то мера неопределенности Н(U|Z) элементов находится усреднением по всем значениям z_i, средняя неопределенность элементов ансамбля.

Для того чтобы получить Н(U|Z), мы должны в (*) заменить безусловные вероятности на условные.

Рассмотрим использование функции условной энтропии применительно к тексту.

Если следование символов алфавита не является независимым.

Например, во французском языке почти всегда после q следует u, а в русском языке после слова «передовик» следует «производства» или «труда». То количество информации, которое несет последовательность таких символов, а это есть и есть энтропия, очевидно меньше.

Для учета таких факторов и используется условная энтропия.

Так для русского языка безусловная энтропия Н=5 (log₂32), но с учетом условных вероятностей появления пары символов и их объединения мы можем получить

H₁=4,358

H₂=3,52

H₃=3,01

Условную энтропию можно использовать для оценки информационных потерь в каналах передачи данных с помехами, для этого строятся канальные матрицы.

Так, для описания потерь со стороны источника (известен посланный сигнал), если известна вероятность получения сигнала (символа) b_j при условии, что был отослан символ a_i, используется канальная матрица, элементы которой равны условным вероятностям p(a_i|b_j).

J-тая левая диагональ представляет вероятность правильного приема, а сумма вероятностей всех элементов столбца дает вероятность появления соответствующего символа на стороне приемника p(b_j).

Информационные потери, которые приходятся на передаваемый сигнал a_i описываются через частную условную энтропию по формуле:

Потери оцениваются по формуле условной энтропии.

Н(В|А) означает энтропию со стороны источника, аналогично рассматривается, что Н(В|А)

1ая – источник;

2я – приемник.

Суммируя элементы строки канальной матрицы можно получить вероятность p(a_i), а ее элементы диагонали означают вероятность того, что был отправлен тот символ, который был получен.

Матрица не обязательно должна быть квадратной, сумма элементов столбца дает вероятность p(b_j), а строки – вероятность p(b_j). Сумма всех элементов равна 1, а условные вероятности отыскиваются по формуле выше или формуле Байеса.

Взаимная энтропия вычисляется последовательным суммированием по всем строкам или столбцам всех матриц, умноженных на логарифм.

Единица измерения взаимной энтропии – бит на 2 символа, потому что взаимная энтропия описывает на пару символов: отправленного и полученного.

Взаимная энтропия обладает свойством информативной полноты, т.е. из нее можно получить все рассматриваемые величины через матрицы условных энтропий.

Взаимная энтропия обладает следующими свойствами:

1) I(a,b)≥0 – это соотношение справедливо только в том случае, когда a и b независимы между собой.

2) I(a,b)= I(b,а) – т.е. b содержит столько же информации относительно а, сколько а содержит относительно b. Это свойство вытекает из свойства симметричности энтропии.

3) I(a,b)≤Н(А)

I(a,b)≤Н(В)

Причем равенства имеют смысл только тогда, когда по полученному b можно восстановить а, и наоборот.(

4) А=В

Н(a|a)=0

I(a|a)=Н(А) – в этом случае мы можем интерпретировать энтропию источника А как собственную информацию о самом себе.

Пусть А – это ансамбль представляет собой ансамбль дискретных сообщений q, тогда

I(a|a)=Н(А) справедливо только тогда, когда преобразование А в В является обратимым, т.е. однозначным.

При необратимом преобразовании I(a,b)<H(A) и H(A)-I(a,b)=H(a|b) => потери информации или ненадежность преобразование А и В.

Информация не теряется только при обратимых преобразованиях.

Н(b|a)=H(B)-I(a|b) – шум от преобразования или ложная информация.

Текст преобразуется в двоичный код.

А=00000

В=00001

С=00010

АВС=00000 00001 00010

D=00011

Е=00100

Модулятор

Модуляция – это процесс изменения одного или нескольких параметров высокочастотного модулируемого колебания под воздействием низкочастотного управляющего модулирующего сигнала.

Сигнал является носителем информации.

Сигнал – это волна или колебания.

Модуляция – процесс изменения параметров в соответствии с параметрами передаваемого сигнала.

Амплитудная модуляция

При амплитудной модуляции амплитцда несущего сигнала уменьшается с формой передаваемого сигнала.

Сигнал = носитель информации.

Параметры сигнала – информативные параметры: амплитуда, частота, фаза.

Фазовая модуляция использует в качестве информативного параметра фазу.

Фазовая модуляция характерна тем, что начало несущего сигнала совпадает с началом единицы сигнала. И когда единица сигнала заканчивает действия, фаза меняет свое направление.

Частотная модуляция отличается тем, что единица кодируется повышенной частотой, а ноль – частотой несущего сигнала.