1.2 Непрерывный источник

1.2.1 Собственная информация и энтропия

Рассмотрим источник информации с множеством возможных состояний - непрерывный источник (пример: источник телефонного сигнала, телевизионного и т.д.).

При получении оценки неопределенности выбора конкретного значения такого непрерывного источника имеются следующие особенности (по сравнению с дискрет-ным источником)[1]:

• источник выдает значения, сколь угодно мало отличающиеся друг от друга, т.е. эти значения есть непрерывные величины;

• вероятность конкретного значения в какой-то мгновенный момент времени стремится к нулю, поэтому вероятность нельзя использовать для оценки меры неопределенности источника.

Рассмотрим представление непрерывной величины Хкак предельный случай дискретной величиныx_i(рис.1.5). При этом весь диапазон изменения непрерывной случайной величиных, будет характеризоваться плотностью распределенияW(x).

Рис.1.5Представление непрерывной величины х,

как предельный случай дискретной величины x

Разобьем диапазон изменения непрерывной случайной величины х, характе-ризующейся плотностью распределенияW(x)на конечное число “n” маленьких интервалов ширинойx. При этом, если значения непрерывной величины попадает в интервал(x_i ,x_i+x), то считается, что дискретный источникX_выдаёт дискретную случайную величинуx_i , i=1,n. Поскольку интервалxмал, то вероятностьp(x_ixx_i+x)=

Тогда дискретный источник X_можно описать матрицей

,

где p(x₁), p(x₂), ..., p(x_n)- вероятность попадания непрерывной случайной величины соответственно в интервал 1_-й, 2_-й,..., n_-й;

x=- погрешность представления непрерывной величиныхее дискретным значением в i-й момент времени, практически это погрешность измерения непрерывной величиных.

По аналогии с дискретным источником энтропию источника X_можно определить следующим образом:

Так как , аlogx=const:

.

По мере уменьшения интервала дискретизации xвероятность P(x_i) приближается к нулю, а свойства дискретной величиныx_iX_ - к свойствам непрерывной величины х.

Переходя к пределу при x0, получаем

,

(1.15)

Первый член в выражении (1.15) называется дифференциальной энтропией непрерывного источника сообщений

. (1.16)

Физическиий смысл - среднее количество информации, определяемое относительно шкалы измерения, начало которой находится в точке +, характеризует информационное содержание закона распределения.

Собственная информация непрерывного источника, по аналогии со случаем дискретного источника, определяется по формуле

. (1.17)

Пример. Определить энтропию непрерывного источника Х с плотностью распределения (равномерный закон) . С погрешностью измерения случайной величины. По формуле (1.15), учитывая, что при заданной погрешности измерения , получаем .

1.2.2 Основные свойства дифференциальной энтропии непрерывного источника

1. Если “m” не случайная, постоянная величина, то дифференциальная энтропия не зависит от математического ожидания сообщения

2. Дифференциальная энтропия не ограничена “снизу”

3. Значение дифференциальной энтропии непрерывного источника зависит от масштаба измерения случайной величины.

Рассмотрим передачу сообщений источника Х (рис.1.6) через систему с коэффициентом передачи K (усиление).

Рис.1.6Изменение масштаба измерения

непрерывной случайной величины

4. Если непрерывный источник Х имеет Гауссовское распределение непрерывных сообщений (нормальный источник)

W_n(X)=,

где - средняя мощность (дисперсия), то дифференциальная энтропия имеет вид

, гдеX_n -нормальное распределение.

5. Если произвольный источник Х и нормальный источник обладают одинаковой средней мощностью , то всегда имеет место следующее неравенство:

.