12 Дискретные источники информации. Основные характеристики дискретных источников.

Источники сообщений явл-ся дискретными, если множество сообщений, которое может быть им создано конечно или по крайней мере счётно.

Основные характеристики:

1.Алфавит , - знаки алфавита,

- вероятность появления на выходе источника

2.Скорость передачи, [B] – имп/с

3.Энтропия Н – кол-во информации, содержащееся в среднем в одном знаке сообщения

Энтропия полностью определяется з-ном распределения вероятности появления знаков на выходе источника, при этом не важно какие именно знаки может вырабатывать источник, важно только кол-во разновидностей этих знаков и вероятности их появления. 1-ца кол-ва информации (то кол-во инфы, которое переносит 1 знак двоичного алфавита, если знаки равновероятны и взаимонезависимы на выходе источника) – двоичная или бит.

Если знаки на выходе к-значного источника инфы встречаются равновероятно и взаимонезависимо, то кол-во инфы, переносимое одним знаком максимально

Если неравновероятно …

Если неравновероятно и взаимозависимо … , - вероятность появления буквы i после буквы k

13 Свойства энтропии. Энтропия непрерывного источника информации.

1Э. явл. непрерывной неотриц. ф-цией. P(a_k) k=2

P(a₁)= P_a , P(a₂)=1-p, H(A)=-Plog₂P-(1-p) log₂(1-p)

2Э. равна 0 тогда и только тогда, когда вероятность одного из состояний источника =1. =>все остальные вероятности = 0.

3Э. макс., когда все состояния источника равновер. P(a₁)= P(a₂)=..= P(a_k)=1/k, Н_мах= log₂k

4Э. сложного сигнала, полученного объединением двух независимых сигналов равна ∑ энтропий кажд. из сигналов. Под объединением двух сигналов Х и Y с возможными состояниями x₁,x₂,..,x_k и y₁,y₂,..,y_i понимается сложный сигнал (X,Y), состояние которого (x_k,y_i) представляет собой все возможные комбинации состояния сигналов X,Y. Число возможных состояний сложн. сигнала = k*i где - вероятность появления сигнала x_k. - условная вероятность того, что сигнал Y будет находиться в состоянии y_i при условии, что сигнал Х принял состояние x_k.

Для независимых сигналов:

Э. объединённого сигнала

5Э. сложного сигнала, полученная объединением двух независимых сигналов

Непрерывные сообщения источника или соответствующие им сигналы отличаются тем, что за конечное время Т они могут принимать бесконечное число возможных значений, т.е. ансамбль источника бесконечен. Ккак следствие вероятность появления отдельного знака (по аналогии с дискретным источником ) бесконечно мала, а его информативность бесконечно велика.

Разделим область изменений Х на дискретные уровни с малым интервалом между ними ∆х (рис.3). ∆х – шаг квантования (дискретизации) непрерывного сигнала по уровням. Вероятность того, что значение Х лежит в пределах интервала х_i.. х_i+∆х, приблизительно равна Р_i=w(х_i) ∆х, где w(х_i) - значение плотности вероятности в точке х_i.

Положим в дальнейшем, что отдельные отсчёты сигнала (сообщения) независимы, а их распределение не зависит от времени (стационарный источник). Тогда можно в соответствии с формулой написать следующее выражение для энтропии на один независимый отсчёт квантованного сигнала:

Устремив ∆х →0 для перехода к энтропии на один отсчёт непрерывного сигнала и учитывая, что получим

Т.о., энтропия непер. источника сообщ. (за счёт члена ) стремится к бесконечности. Отсюда следует, что непрерывные сигналы не допускают введения конечной абсолютной меры неопределённости. Степень их неопределённости характеризуют дифференциальной энтропией (по связи с дифф. законом распределения вероятностей):

В отличие от энтропии дискретного источника, может принимать как положительные и нулевые, так и отрицательные значения, а также изменяться в зависимости от масштаба переменной х.

Дифференциальная энтропия позволяет сравнивать информативность случайных сигналов, имеющих различные распределения, относительно некоторого стандарта. Стандартом для сравнения является случайный сигнал, имеющий равномерное распределение в единичном интервале (b)-a=1, для которой Дифф. энтропия показывает, насколько энтропия данного непрерывного сигнала отличается от энтропии непр. случайного сигнала с равномерным законом распределения в единичном интервале. С помощью дифф. энтропии производится вычисление качества информации, содержащейся в непр. сообщ.