2.2.5. Закон розподілу суми випадкових величин

Теорема.Нехай випадкові величиниXтаYнезалежні та мають щільності ймовірностейp_X(x) іp_Y(y). Тоді щільність ймовірності випадкової величиниZ=X+Yє згорткою щільностей ймовірності доданків

. (12)

Наслідки. 1) Якщо випадкові величини X_i незалежні і X_i N(a_i;_i²), то X₁+...+X_n N(a₁+...+a_n;₁²+...+_n² ).

2) Якщо випадкові величини X_i незалежні і розподілені за показниковим законом з параметром , то їх сума =X₁+...+X_nрозподілена за законом Ерланга n–1-го порядку з параметром 

. (13)

3) Сума двох незалежних випадкових величин, розподілених за законом Пуассона з параметрами ₁і₂, розподілена за законом Пуассона з параметром₁+₂.

Виняткова роль розподілу Гауса може бути пояснена таким чином: якими б не булизакони розподілу незалежних доданків, закон розподілу суми будеблизькимдо гаусевого, якщо вклади кожного з доданків у суму приблизно одинакові і число доданків достатньо велике. Так, наприклад, помилка вимірювання породжується спільною дією великого числа причин; розподіл цих помилок добре узгоджується з законом Гауса.

Точне формулювання приведеного вище твердження складає зміст знаменитої центральної граничної теореми, у розробці якої одну з головних ролей зіграв видатний математик професор Харківського університету академік О.М.Ляпунов. Виявилось, що основну умову цієї теореми – припущення про незалежність доданків – можна суттєво послабити. Цей напрямок бере початок від іншого видатного математика професора Харківського університету академіка С.Н.Бернштейна. Йому належить також і перша за часом аксіоматика теорії ймовірностей (1917р).

Приклад 1. Літак розраховано на чотирьох пасажирів або вантаж вагою не більше 360 кг. Припустимо, що вага пасажирів є випадковою величиною, розподіленою за законом ГаусаN(75 кг; 256 кг²). Як часто літак буде перевантаженим, якщо на борт береться чотири пасажири.

Розв’язок.Позначимо черезX_i (i=1,...,4) вагуi-го пасажира. Оскільки випадкові величиниX_iнезалежні, то на підставі наслідку 1) одержимо

X= X₁+X₂+X₃+X₄ N(300 кг; 1024 кг²).

Застосуємо формулу (10) розділу 2.1:

.

Таким чином, тільки в трьох рейсах із ста очікується перевантаження літака.

2.2.6. Ентропія і інформація

Нехай – випадковий вектор.

Означення 1.Інформацією, яка міститься в координатіY по відношенню до координатиX, називається числоИ(X,Y), яке визначається формулою

Основні властивості інформації такі:

1) И(X,Y)=И(Y,X); 2)И(X,Y)0; 3)И(X,Y)=0X таY незалежні; 4)И(X,Y)И(X,X). Знак рівності можливий лише тоді, коли випадкові величиниX таY пов’язані функціональною залежністю.

Означення 2.Найбільша інформаціяИ(X,X) відносно координатиXназиваєтьсяентропієюH(X) випадкової величиниX

Ентропія H(X) показує, скільки потрібно в середньому двійкових знаків для запису можливих значень випадкової величиниX.

Ентропія є мірою невизначеності значення випадкової величини до проведення спостереження. Ентропія дорівнює нулю тоді і тільки тоді, коли ймовірність одного із значень дорівнює одиниці і, таким чином, невизначеність в інформації про випадкову величину відсутня. За одиницю вимірювання ступені невизначеності приймають невизначеність для випадкової величини, яка приймає лише два рівноймовірних значення. Ця одиниця вимірювання називається бітом (скорочення англійських слів binary digit=bit). Ентропія дискретної випадкової величини є максимальною, якщо всі її значення рівноймовірні:p₁=p₂=...= p_n=1/n. А саме,

.

Можна показати, що інформація і ентропія пов’язані співвідношенням

И(X,Y)=H(X)+H(Y)–H(X,Y),

де величина H(X,Y),яка називається ентропією вектора , вираховується за формулою

.

Y X	-1	0	1
-1	4/15	1/15	4/15
0	1/15	2/15	1/15
1	0	2/15	0

Приклад 1. Знайти:1) інформацію И(X,Y), яка міститься у координатіY по відношенню до координатиX; 2) ентропіїH(X),H(Y),H(X,Y).

Розв’язок.Знайдемо суми по рядках і стовпчиках таблиці:

P{X= –1}=9/15, P{X=0}=4/15, P{X=1}=2/15,

P{Y= –1}=P{Y=0}=P{Y=1}=1/3.

1)

2) ;

;

.

Отже, И(X,Y)=1.34+1.58-2.57=0.35 біт, що співпадає з результатом, одержаним у пункті 1).