3.1 Непрерывное распределение вероятностей

Отступим в наших рассуждениях на шаг назад, и будем считать, что в некий момент количество символов k в алфавите ещё конечно. В такой момент существует некоторая вероятность р(Δх_k)xΔх того, что X отличается от ожидаемого наперёд названного значения Х_q не более, чем на Δх.

Совершенно очевидно, что на этом этапе наших рассуждений р(Δх_k)xΔх =1.Теперь отпустим k к бесконечности и проследим за

limр(Δх_k)xΔх =1. Аргумент у р(Δх_k) стягивается в произвольную точку: записываем – р(х) (индекс здесь – ни к чему). Размер малого предельного интервала символизирует запись dх. С единицей справа при таком предельном переходе ничего не происходит, но обозначение

limследует заменить на. Окончательно имеем:р(х)dх =1

Такая запись означает, что для непрерывной функции X(t) существует некая функция распределения вероятностей р(х), суммарная площадь под которой над осью x от - до+равна единице. Строго говоряр(х) – это функция распределения не вероятностей, а плотности вероятностей в окрестности х .

Это и есть непрерывное распределение плотности вероятностей реализации ожидаемых значений X(t) = х нашей функции X(t).

Следовательно, речь идёт не просто о непрерывной функции, а о случайной непрерывной функции (именно поэтому она теперь записана шрифтом с наклоном).

Теперь это доказано строго математически, и потому утверждение о том, что математической моделью непрерывного сообщения, вообще, служит такой, хорошо Вам известный математический объект, как непрерывная случайная функция Х(t). Вы воспримете с доверием и удовлетворением.

С этим багажом новых знаний и доверием продолжим тему.

3.2 Энтропия непрерывных распределений

Вспомним, что для дискретных источников информации на базе дискретного распределения вероятностей введено понятие энтропии, а на его основе – ещё несколько количественных мер для свойств источников и получаемых от него сообщений. В связи с этим возникает вопрос о существовании энтропии непрерывных распределений. Попытаемся прояснить этот вопрос тем же методом предельного перехода, который мы только что применили для определения понятия непрерывного распределения.

Итак, конструируем выражение похожее на энтропию и точно её ещё представляющее в некий момент, когда количество символов k в алфавите ещё конечно:

Н(х_k)= – р(х_k)xх_klog{р(х_k)xх_k}

Теперь отпустим k к бесконечности и вычислим соответствующий предел при стягивании интервала в точку.

limН(х) = lim[–рх_k)xх_klog{рх_k)xх_k}]=

=lim{– р(х_k)xх_klog{р(х_k)} – lim р(х_k)xх_klog{х_k}]=

= – р(x)xlogр(x)dx – lim log(x_k)x lim р(x)xx_k .

Если первое слагаемое в этом выражении – полный аналог энтропии, то второе слагаемое порождает проблему(lim р(x)xy_k =р(x)dx = 1,

но lim log(x_k ) = log(0) = –!).

С одной стороны, энтропия непрерывного распределения существует и записывается в привычном выражении (Н(x) = – р(x)logр(x)dx), но с другой – к ней приписывается неприятная (потому, что бесконечная) добавка. В то же время такая добавка оправдана не только математически, ибо, как мы уже отмечали, количество точек даже на малом непрерывном отрезке – бесконечно, и реализация одного определённого значения непрерывной функции приносит бесконечное количество информации. Информационная производительность любого непрерывного источника информации выглядит бесконечной.

На практике от этой неприятности теорию информации избавляет отсутствие реальной необходимости абсолютно точно знать какой-то там параметр реального процесса или системы. Обычно любой непрерывно изменяющийся параметр х достаточно знать приблизительно, достаточно быть уверенным, что его значение лежит в некоторых пределах, например, в некоторой малой окрестности  от х₁= a до х₂ = b. Остающаяся, при этом неопределённость Н_(х) = – р(х_)logр(х_)dх, практического значения не имеет, но количество информации I(х), которое можно теперь измерять разностью между начальной неопределённостью Н(х) = – р(х)logр(х)dх (до измерения параметра) и остаточной, практически допустимой неопределённостью

Н_(х) = – р(х_)log[р(х_)dх после его измерения с доступной (или просто с практически достижимой ) точностью , всегда будет величиной конечной.

Минимальное количество информации, которое необходимо получить от непрерывного источника чтобы оценить значение непрерывно изменяющейся величины х с требуемой точностью , то есть величина

I_ (х)= min [Н(х) – Н_(х)]= Н() называется -энтропией непрерывного

источника.

Вот в таком качестве понятие энтропии «работает» и применительно к непрерывным источникам. В разности [Н(х) – Н_(х)] присутствуют две бесконечности с разными знаками и компенсируют друг друга. Следовательно, и с математической точки зрения здёсь всё в полном порядке.

При всём этом осознавать следует главную вещь:

в реально бесконечном разнообразии природы нужно уметь ориентироваться и в каждом конкретном случае выбрать такой порог чувствительности к подробностям, который обеспечивает достаточное количество необходимой информации и не позволяет засорять каналы и память, ненужными подробностями.

Далее вспомним, что при передаче сообщений дискретными сигналами целесообразно применять дискретные последовательности с максимальной энтропией. В связи с этим в теории непрерывных сигналов становится интересным вопрос о поиске таких распределений р(х) для ансамблей, которые обеспечивали бы им максимальную энтропию.

В МАТЕМАТИЧЕСКОМ ДОПОЛНЕНИИ изложена упрощённая версия одной из теорем вариационного анализа, на базе которой построена методика нахождения «оптимальных» непрерывных распределений для различных сигналов. Ниже она демонстрируется на нескольких конкретных примерах.