![](/user_photo/_userpic.png)
4Некоторые законы распределения СВ
.doc
До опыта
,
после –
равно сумме фигурирующей в (1). А S
– наоборот.
Энтропия задачи из 25 монет (тяжелая с равной вероятностью может оказаться любой из 25) равна
А максимум информации, извлекаемой при одном взвешивании:
.
Чтобы исчерпать всю неопределенность (решить задачу) нужно обеспечить неравенство
m·log2 3 ≥ log2 25,
в котором m – минимальное число взвешиваний, т.е. m = 3.
Возрастание энтропии – фундаментальный закон природы. Не вдаваясь в подробности и механизм его реализации, приведу лишь один пример.
Капнем чернила в банку с водой. Вначале вероятность обнаружить чернила локализована в том месте, куда упала капля. Но по мере растворения чернил, эта вероятность равномерно распределяется по всему объему банки. Энтропия, как мы уже выяснили, при этом стремится к своему максимальному значению. Обратный процесс не возможен по законам статистики. Сколько бы мы не ждали, чернила не соберутся вновь в каплю. Т.е. состояние с максимальной энтропией является равновесным. По этой причине распределения вероятности, наиболее часто встречающиеся в окружающем нас мире могут быть получены из условия экстремальности энтропии.
Обобщив (1) на случай непрерывных законов распределения, получим
(2)
где f(x) – дифференциальная функция распределения;
Pi – вероятность попадания СВ в интервал Δxi;
ξi – внутренняя точка этого интервала.
Ничто не мешает сделать Δxi одинаковыми, после чего второе слагаемое в (2) не зависит от вида f(x).
.
Поэтому, если
интересоваться изменением S
при вариации f(x),
второе слагаемое в (2) можно опустить.
Кроме того, фигурирующие в (2) логарифмы
можно заменить натуральными, выбирая
таким образом новый масштаб измерения
энтропии (
).
В результате перехода к бесконечно
малым
получим
.
(3)
Экстремум функционала (3) будем искать при дополнительных условиях
(4)
(5)
(6)
обеспечивающих реалистичность распределений, где (1) – условие нормировки, а (5) и (6) – требование конечности математического ожидания и дисперсии.
Домножим (4) – (6) соответственно на α, β, γ и прибавим к (3).
(7)
где
(8)
Т.к. слева в (7) все кроме S есть константы, экстремальность интеграла в правой части (7) будет означать условный экстремум S. Чтобы интеграл в (7) был максимальным, нужно каждому x поставить в соответствие такое значение f, чтобы F(x, f) была максимальной. Из необходимого условия экстремума
(9)
найдем
(10)
Подставив (10) в (4) – (6), выразим c, β, γ через m и σ
.
(11)
Подчеркнем, что нормальное распределение (11) возникло не по определению, а как следствие закона возрастания энтропии. При этом смысл параметров m, σ не надо устанавливать. Он ясен из соотношений (5), (6).
Если СВ X положительно определена, из конечности матожидания следует конечность дисперсии, т.к. слева от m интервал конечен (x > 0), а справа – бесконечен. И бесконечность дисперсии означала бы бесконечное смещение m вправо по числовой оси. Поэтому от условия (6) следует отказаться, а соотношения (4), (5) и (10) примут вид:
(4׳)
(5׳)
(10׳)
Подставив (10׳) в (4׳) выразим c через β:
Подставив последнее выражение в (5׳), найдем c:
(12)
– экспоненциальное распределение.
Если возможные
значения СВ
отрезку [a,
b],
ее математическое ожидание не может не
быть конечным. Отбросив в этом случае
условие (5׳)
получим:
(4׳׳)
(10׳׳)
Откуда
,
т.е. максимуму энтропии на отрезке
отвечает равномерное распределение
(13)
Свернув плоскость OXY с нарисованной на ней Гауссовой кривой в цилиндр радиуса r и образующей, параллельной OY, можно непосредственно проследить как нормальное распределение по мере уменьшения r трансформируется в равномерное.
Пусть m = 0. Считая поворот на угол 2π возвратом в исходную точку и применив теорему сложения вероятностей, получим
,
(14)
Если σ ≥ πr
разброс случайной величины сравним с
длиной отрезка, на котором определена
.
Это не позволяет при оставлении прогноза
одно возможное значение предпочесть
другому. Т.е.
в такой ситуации должна описывать
равномерное распределение. В обратной
ситуации (
)
в (14) всеми слагаемыми можно пренебречь,
и f*(x)
с
будет аппроксимироваться
нормальным законом на отрезке [-πr,
πr].
Графики f*(x),
построенные численными методами для
πr
полностью подтверждают предсказанную
эволюцию функции распределения. Там
же, для сравнения, дана часть Гауссовой
кривой, принадлежащая рассматриваемому
отрезку.
Подставив (11), (12) и (13) в (3), найдем энтропии полученных распределений
(15)
(16)
(17)
или связав в первых двух случаях параметры распределений со среднеквадратическим отклонением
Видно, что с увеличением разброса во всех случаях энтропия (как это и должно быть) растет. При одинаковых разбросах имеет место двойное неравенство
Sн > Sp > Sэ
Подставив (14) в (3)
можно проследить (рис.2) как при увеличении
отрезка зависимость (15) переходит в
(17). (Для простоты расчеты выполнялись
с σ = 1), т.е.
– уравнение горизонтальной асимптоты.
Дополнение 1
Получение нормального закона
После замены
выражения (4) – (6), (8) примут вид
(1)
(2)
(3)
из (1)
;
из (2)
что
– четная
;
из (1)
из (3)
(см.
)
Дополнение 2
Вычисление энтропии
Равномерное
распределение
свяжем S со среднеквадратическим отклонением
Экспоненциальное
распределение
свяжем S со среднеквадратическим отклонением
Нормальное
распределение
(см. условие
нормировки) =
;
введем
Очевидно,
т.о.
1