книги из ГПНТБ / Агекян Т.А. Теория вероятностей для астрономов и физиков учеб. пособие
.pdf120 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
1ГЛ. 2 |
Пусть полные системы событий Л и 33 заданы. Опре делим условие для полной системы событий ЛОВ, при ко тором Н {ЛЩ максимально. Для этого, имея в виду спра ведливость равенств
|
|
771 |
|
|
п |
|
|
|
|
|
|
2 Р (А{В,.) = |
Р (А), |
2 |
Р (ABj) = |
Р (В}), |
|||
|
|
3=1 |
|
|
i=l |
|
|
|
|
напишем (2.147) в форме |
|
|
|
|
|||||
Н (,Л33) = |
|
|
|
|
|
|
|
||
|
т |
п |
|
Р Ы В ) |
|
|
|
||
= |
- 2 |
2 |
lQg г а ^ р |
вл |
+ Н М) + |
н |
(®)- (2.152) |
||
|
3 = 1 г = 1 |
|
' |
* ' ' |
? ' |
|
|
|
|
В |
выражении |
(2.152) |
переменными являются |
величины |
|||||
|
(Лг5Д, для |
которых должно удовлетворяться условие |
|||||||
|
|
|
771 |
П |
|
|
|
|
|
|
|
|
2 |
2 |
Р (4^з) |
= 1. |
|
(2.153) |
|
|
|
|
3 = 1 |
i = |
l |
|
|
|
|
Число этих переменных равно пт. Для того чтобы найти максимум Н (ЛЗВ), нужно составить функцию Лагранжа
£ = - 2 2 |
р (AiBj) |
х 2 |
2 р ( Ш - |
р (АВ}) logР(А.)Р(В^ |
|||
j=i i=i |
|
3 = 1 |
г= 1 |
(2.154)
и приравнять нулю все ее частные производные по Р(Аф}), имея при этом в виду, что Р (А{) к Р (В }) фиксированы. Находим, что
- 1 + ^ = 0 . (2.155)
i = 1, 2,..., п, у = 1,2, ..., т .
Уравнений в (2.155) будет всего пт. Они показывают, что величина фигурирующей в них под знаком логарифма дроби не зависит от значков i и /. Следовательно, макси мум Н (ЛЗВ) достигается, когда выполняется условие
P { A tBj) = cP( Ai) P { B }). |
(2.156) |
§ 3 3 ] |
КОЛИЧЕСТВО ИНФОРМАЦИИ |
121 |
Просуммировав (2.156) по всем i и /, найдем, что с = 1. Итак,
P ( A iBJ) = PI{Ai) P ( B i), |
(2.157) |
т. е. Я (ЛОВ) максимально, когда системы А и 53 взаимно независимы. В этом случае, как показывает (2.152),
Н(АЗЗ) = Я {.А) + Я (53) |
(2.158) |
и, следовательно, согласно (2.150)
Я (53 | Л) = Я (53). |
(2.159) |
В общем же случае, когда не известно, являются ли си стемы А и 53 взаимно независимыми, справедливо нера венство
Я (S3 M X Я (53). |
(2.160) |
Если полные системы событий А и 53 однозначно определяют друг друга, т. е. если условная вероятность события при условии A t равна 1, а все Р (Bj | A t) = 0 при / ф I, то
т
Я (531А ) = - 2 Р (В; I А;) log Р (Я; I 4 ) = 0. (2.161)
i |
3 = 1 |
|
|
|
На основании (2.149), в этом случае и |
|
|||
и, следовательно, |
Я (53 \ А) |
= 0, |
(2.162) |
|
Я (.ЛЯ) = |
Я (.Л). |
(2.163) |
||
|
||||
Таким образом, поскольку Я (53 | А) отрицательным быть не может, в общем случае
0 < Я (53 M X Я|(53). |
(2.164) |
Информацией называется изменение меры неопреде ленности (энтропии) системы событий. Если, например, стало известно, что произошло событие A t, то количество информации для системы 53 равно
/ (53, А,) = Я (53) - Я (53 | A t). |
(2.165) |
Как показывает (2.165), информация считается поло жительной, если мера неопределенности системы} умень шилась.
122 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
[ГЛ. |
2 |
В общем случае, когда становится известным, что |
|||
произошло |
событие Аи энтропия системы 53 |
может |
и |
уменьшиться, и увеличиться, следовательно, количество
информации при |
этом |
может быть и положительным, |
||
и отрицательным. |
|
|
|
|
Математическое ожидание количества информации для |
||||
системы 53, когда становится известным, |
что произошло |
|||
какое-то событие системы Л, |
равно |
|
||
|
|
П |
|
|
I (33, |
Л) = |
2 |
р (4) I (®, А)- |
(2.166) |
|
|
г = 1 |
|
|
I (53, Л) называют также средним количеством информа ции, содержащимся в системе Л, о системе 53. Докажем, что всегда
I |
(53, Л) |
> |
0. |
(2.167) |
Подставив (2.165) в (2.166) |
и |
учитывая (2.149), нахо |
||
дим, что |
Я (33) |
— Я (53 | Л). |
(2.168) |
|
I (S3, Л) = |
||||
Сложив (2.150) и (2.168), напишем выражение для сред него количество информации в виде
I (53, Л) — Н (Л) + Я (53) - Я (Л53). (2.169)
Как было показано выше, максимальное значение Я (ЛЗЗ) равно Я (Л) + Я(53). Таким образом, утверждение (2.167) доказано, среднее количество информации, со держащейся в одной полной системе событий о другой полной системе событий, всегда неотрицательно. Если системы событий взаимно независимы, количество ин формации, содержащейся в одной из них о другой, равно нулю. Если же системы зависимы, то это количество ин формации положительно. Симметричность выражения (2.169) относительно Л и 33 показывает, что среднее ко личество информации, содержащейся в Л о 53, равно сред нему количеству информации, содержащейся в 53 о Л.
З а д а ч а 60. Среди слабых голубых звездообразных объектов, наблюдаемых в высоких галактических широ тах, 47% являются звездами — белыми карликами, 23% — звездами — субкарликами и 30% — звездопо добными галактиками. Для выяснения природы объектов
§ 33] КОЛИЧЕСТВО ИНФОРМАЦИИ 123
измеряют их собственное движение или измеряют ультра фиолетовый избыток излучения в спектре. Если объект — белый карлик, то после измерения его собственного дви жения он с вероятностью 0,68 отождествляется с белым карликом, с вероятностью 0,24 — с субкарликом и с ве роятностью 0,08 — с галактикой. Ошибочные отождест вления могут происходить из-за ошибок измерений и на личия дисперсии характеристик у объектов данного типа. Если объект — субкарлик, то после измерения собствен ного движения соответствующие вероятности отождестввлений равны 0,3, 0,64, 0,06, а если объект — галакти ка,— 0,13, 0,11, 0,86.
После измерения избытка ультрафиолетового излу чения, если объект — белый карлик, соответствующие вероятности отождествлений равны 0,6, 0,12, 0,28, если объект — субкарлик,— 0,15, 0,74, 0,11, если галакти ка, - 0,13, 0,25, 0,62.
Определить, какое измерение — собственного движе ния или ультрафиолетового избытка — содержит в сред нем больше информации о природе слабых голубых объектов.
Р е ш е н и е . Вычисления удобно производить при помощи формулы (2.169). Обозначим А и А 2, А 3 события, состоящие в том, что до выполнения измерений слабый голубой объект есть соответственно белый карлик, суб карлик, звездоподобная галактика, а В и В2, В 3 — соот ветствующие гипотезы после выполнения измерения соб ственного движения. Тогда Р (Ах) = 0,47, Р (Л2) = 0,23,
Р Ц 3) = |
0,30. |
Согласно |
условиям |
задачи Р (Вг \ А = |
||
= 0,68, |
Р (В2 | А г) = 0,24, |
Р (В3 | А,) |
= 0,08. |
|||
Р (В 1 | А 2) = 0,30 и т. д. |
Поэтому можно вычислить все |
|||||
Р (AiBj) |
= Р (A i) Р (Bj | А г). Запишем |
их в |
таблице: |
|||
|
Р(Л{В}) |
А, |
|
As |
P(Bj) |
|
|
Вх |
0 , 3 2 |
0 , 0 7 |
0 , 0 4 |
0 , 4 3 |
|
|
Въ |
0 , 1 1 |
0 , 1 5 |
0 , 0 3 |
0 , 2 9 |
|
|
Вг |
0 , 0 4 |
0 , 0 1 |
0 , 2 3 |
0 , 2 8 |
|
Р И О |
0 , 4 7 |
0 , 2 3 |
0 , 3 0 |
1 , 0 0 |
124 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
1ГЛ. 2 |
Сумма вероятностей в строке дает соответствующее Р (Bj), а сумма в столбце — соответствующее Р (А$.
По формуле (2.139) находим
Я (А) == 1,521, Я (33) = 1,556, Я (АЗЗ) = 2,632.
Следовательно, согласно (2.169), среднее количество ин формации, даваемое измерением собственного движения голубого объекта, равно I (А, В) = 0,445.
Если измеряются не собственные движения, а ультра
фиолетовые избытки объектов, |
то |
таблица значений |
||||
Р (At Bj) имеет |
вид: |
|
|
|
|
|
Р ( А 4В . ) |
А, |
А2 |
|
|
|
Р(Вj) |
Вх |
0 , 2 8 |
0 , 0 3 |
|
0 , 0 4 |
0 , 3 5 |
|
Ва |
0 , 0 6 |
0 , 1 7 |
|
0 , 0 8 |
0 , 3 1 |
|
В3 |
0 , 1 3 |
0 , 0 3 |
|
0 , 1 8 |
0 , 3 4 |
|
Р(Аг) |
0 , 4 7 |
0 , 2 3 |
|
0 , 3 0 |
1 , 0 0 |
|
Соответственно |
|
|
|
|
|
|
Я (А) = 1,521, |
|
Я (33) |
= |
1,583, |
||
Я (АЗЗ) |
= 2,802 |
и |
I |
(А, |
33) = 0,302. |
|
Таким образом, измерение собственного движения дает в среднем больше информации для отождествления слабо го голубого объекта, чем измерение ультрафиолетового избытка.
§ 34. Мера неопределенности случайной величины
Понятие меры неопределенности для дискретной слу чайной величины вводится обычным образом, так как совокупность значений, которые может принимать слу чайная величина, является полной системой событий. Таким образом, если случайная величина X принимает значения
34] МЕР А. НЕОПРЕДЕЛЕННОСТИ СЛУЧАЙНОЙ ВЕЛИЧИНЫ 125
с вероятностями, соответственно |
|
||
Pit P%t |
• |
• •» Put |
|
то ее мера неопределенности равна |
|
||
|
|
П |
|
Я ( 1 ) = |
- |
2 а log-а . |
(2.170) |
|
|
г=1 |
|
Чтобы ввести понятие меры неопределенности для не прерывной величины X, принимающей значения в про межутке [а, Ъ], разобьем промежуток [а, Ъ] на п частей, определим вероятность попадания p t случайной величи ны X в каждую из этих частей, напишем выражение (2.170)
для этих вероятностей и будем стремить п к оо так, |
чтобы |
длина наибольшего промежутка А 0. Тогда |
|
П |
|
Н(Х) = - lim 2 ft log А. |
(2.171) |
Уг*°° i=i |
|
X—ю |
|
Так как вероятность попадания случайной величины в бесконечно малый промежуток (х, х + dx) равна / (х) dx, то, казалось бы, при определении Н (X) следует исходить из чисто формального соотношения
ъ
Н (X) = — ^f(x)dx log [/ (х) dx] —
а |
Ь |
Ь |
= — \ f i x) log [/ (я)] d x — ^f (х) log (dx) dx. |
(2.172) |
|
а |
а |
|
Первый член в (2.172) в общем случае ограниченная ве личина. Второй же член, поскольку dx бесконечно мало, бесконечно большая положительная величина, поэтому и Н (X) — бесконечно большая положительная величи на. Этот результат понятен, так как мы задались целью предсказать положение случайной величины внутри бес конечно малого промежутка. Очевидно, что мера неопре деленности для такого предсказания должна быть неогра ниченно велика. Точно так же мера неопределенности будет бесконечно велика, если по выражению (2.170)
126 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
НЛ. 2 |
вычислять ее для дискретной величины, имеющей беско нечно большое число значений, и при п -> оо считать,
например, р%= .
В выражении (2.172) только первый член зависит от плотности вероятности случайной величины (второй ра вен оо!). Поэтому естественно, не определяя абсолютной величины меры неопределенности, сравнивать меры не определенности различных распределений, путем сравне ния первых членов в выражении (2.172). Для этого введем понятие дифференциальной меры неопределенности (диф ференциальной энтропии)
оо
Ч Х ) = — \ |
f{x)\og\j(x))cLx. |
(2.173) |
— оо |
|
|
Пусть |
X -f Z, |
(2.174) |
Y = |
тогда I — Y — X. Так как при любой f (х)
оо |
оо |
— ^ f(x) log I/ (z)] dx = — ^ / (x -f l) log [/ {x + /)] d (x + Z),
— oo |
— oo |
(2.175)
то это показывает, что дифференциальная энтропия не зависит от математического ожидания случайной ве личины.
Покажем, что если случайная величина задана в про межутке [а, 6], то наибольшей дифференциальной энтро пией обладает равнораспределенная случайная величина. Так как всегда должно удовлетворяться условие
ь |
|
\j{x)dx = 1, |
(2.176) |
а |
|
то для нахождения максимума энтропии нужно составить функцию Лагранжа
ь |
ь |
|
L = ^/ log f dx — X ^ / dx |
(2.177) |
|
а |
а |
§ 341 МЕРА НЕОПРЕДЕЛЕННОСТИ СЛУЧАЙНОЙ ВЕЛИЧИНЫ 127
и, рассматривая вариацию плотности вероятностей, при равнять нулю вариацию L. Находим
ь |
|
^ (log / + log е — %)6fdx = 0. |
(2.178) |
а |
|
Равенство (2.178) должно выполняться при произвольной вариации 6/. Из этого следует, что
log / = Я — log е,
т. е. f — const в промежутке [а, Ь).
Таким образом, утверждение доказано. Оно полностью соответствует введенному понятию меры неопределен
ности, так как при равнораспределении в |
промежутке |
|
1а, Ь] предсказание, в какую из частей |
промежутка по |
|
падает случайная величина, наиболее |
затруднительно. |
|
Согласно равенству (2.176), раз / = const, |
то |
|
1 = ь&-« • |
|
<2-179> |
Это дает и неопределенный множитель Я. Значение диф ференциальной энтропии для равнораспределенной в про межутке [а, Ъ] случайной величины равно
|
ь |
Н х ) = — |
jZTS dx = log (b - а)щ |
|
a |
Определим, при каком распределении случайной ве личины в промежутке [—оо, оо] дифференциальная энт ропия максимальна при фиксированной дисперсии слу чайной величины
Так как, кроме условия нормировки (2.176), теперь вве дено условие фиксированной дисперсии,
|
оо |
|
|
б2 = |
§ (х — X f j (х) dx, |
(2.180) |
|
|
— ОО |
|
|
то функция Лагранжа имеет вид |
|
|
|
оо |
оо |
со |
|
1log / dx — Я1 § fdx 4 |
Я2 ^ |
(.r — .TYfd.r. |
|
-— Ск> |
—- (V |
— op |
128 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
[ГЛ. |
Рассматривая вариацию / и учитывая, что энтропия не зависит от X, приравняем вариацию L нулю:
оо
^ [log / + loge — %1-\r \ 2(х — X)2] bfdx = 0. (2.181)
—ОО
Так как равенство (2.181) должно быть справедливо при любой вариации б/, то из него следует, что
log / = — log е -f Ai — Я2 (х — Х)й. |
(2.182) |
Это показывает, что при фиксированной дисперсии макси мальную энтропию имеет нормальная функция. Ее можно записать в каноническом виде''
Пг) = ~ 1 k r e~ “ ■ ' |
<2Л83) |
где а — заданная дисперсия, а X может быть любым. Условия нормировки и (2.180) определяют также и Л2. Значение дифференциальной энтропии нормальной фун кции находится путем подстановки (2.183) в (2.173):
h’(X) = log'(e/2ite). |
(2.184) |
Глава 3
СЛУЧАЙНЫЙ в е к т о р
§ 35. Понятие случайного вектора. Функция распределения случайного вектора
Пусть |
|
|
|
|
|
|
Хи |
Х 2. |
• |
• |
•> |
Xk |
(3.1) |
— случайные величины; |
можно |
рассмотреть |
^-мерный |
|||
вектор |
|
|
|
|
|
|
X = (Хи Х 2, |
• |
• |
•, |
Xft). |
(3.2) |
|
Мы назовем его случайным вектором. Говорят также, что X есть многомерная случайная величина. Ей можно со поставить точку (конец случайного вектора) в /с-мерном пространстве с координатами (3.1).
Случайный вектор считается заданным, если для лю
бых значений xlt х2, . . ., |
x k известна функция |
|
F (хи х2,. . ., x h) — |
|
|
= Р {X1 < хи Х 2 |
< х 2, . . ., X h < x h), |
(3.3) |
называемая интегральной функцией распределения слу чайного вектора (3.2).
F (xi, х2, . . . . x k) есть, очевидно, неубывающая функ
ция по каждому |
аргументу. Она обладает свойствами |
||||||||
|
lim |
F {хъ хг, . .., хк) = 0 |
(1 < i < к), |
(3.4) |
|||||
|
Ч -*-~ |
|
|
|
|
|
|
|
|
какими |
бы ни |
были |
значения остальных аргументов, и |
||||||
|
F (-Ь |
|
+ |
00..........+ |
оо) = |
1. |
(3.5) |
||
Если |
существует |
такая |
функция / |
(хи х2, . . |
., x k)f |
||||
что для |
любых |
значений |
хъ х2..........x k выполняется |
||||||
равенство |
|
Xt |
хг |
х к |
|
|
|
||
|
|
|
S21• • •» Ю |
|
|||||
F {%1, х2, . . ., £fc) = |
^ |
5 |
• • • |
S / (Sii |
|
||||
|
|
|
— ОО — ОО |
— ОО |
|
|
(3.6) |
||
|
|
|
|
|
|
|
|
|
|
5 T. А, Агекян