
- •Министерство образования и науки Российской Федерации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
- •Решение:
- •Правило сложения вероятностей для двух событий:
- •Теорема сложения вероятности для совместных случайных событий.
- •Теорема умножения вероятности для двух независимых событий:
- •Решение:
- •Решение:
- •Решение:
- •Энтропия и информация
- •Историческая справка
- •Решение:
- •Литература по кодированию и декодирова-нию
Теорема сложения вероятности для совместных случайных событий.
(диаграмма Венна: A = m1; B = m2; A ∩ B = l).
-
P (AB) =
l
n
P (A + B) =
(m1+m2−l)
= (в m1 и m2 входит l) =
m1
+
m2
−
l
n
n
n
n
События A и B называются независимыми, если результат выполнения события A не связан с результатом события B. (извлечение двух чёрных шаров из разных урн – неза-висимые события)
-
Теорема умножения вероятности для двух независимых событий:
Если A и B независимы, то P (AB) = P (A) ∗ P (B)
Пример 1: Какова вероятность при двух бросках монеты оба раза выпадет орёл?
-
P (AB) = ?
A{орёл}
P (A) = 21 ;
B{решка}
P (B) = 1
;
2
1 .
P (AB) =
4
Пример 2: В колоде 52 карты, 4 масти, 2 козыря. Какова вероятность того, что взятая на-угад карта 2 является тузом или козырем?
A{туз} P (A) = 1/13;
B{козырь} P (B) = 1/4;
P (AB) = 1/52;
A и B совместны, независимы.
P (A + B) = P (A) + P (B) − P (AB) = 1/13 + 1/4 − 1/52 = 4/13 .
Условная вероятность.
Рассмотрим пример: В урне M чёрных шаров и N − M белых. Случайное событие A {извлечение чёрного шара} и
B {извлечение чёрного шара из той-же урны после того, как из неё уже вынут один шаp}
(m − 1)
P (B|A) =
(n − 1)
Поскольку, если событие A имело место, то в урне осталось M − 1 чёрных шаров.
-
¯
m
P (B|A) =
(n
−
1)
¯ первый вынутый шар - белый
A : { }
Вероятность события B здесь разная. Вероятность, которую имеет событие B в том, слу-чае, когда известно, что событие A имело место называется условной вероятностью со-бытия B при условии выполнения события A.
6
P (B/A) = P (B|A) = PA(B)
Условные вероятности можно вычислять аналогично вычислению безусловных вероят-ностей.
-
случае если A и B независимы, P (A|B) = P (A) ∗ P (B).
-
случае зависимости P (AB) = P (A) ∗ P (B|A) = P (B) ∗ P (A|B).
-
обоих случаях мы имеем правило умножения вероятностей. В одном случае для неза-висимых событий, в другом для зависимых. Последнее соотношение часто кладут в опре-деление условной вероятности.
-
P (B|A) =
P (AB)
P (A|B) =
P (AB)
P (A)
P (B)
Из предыдущей формулы можем составить пропорцию:
P (B|A) = P (A|B)
P (B) P (A)
Из определения условной вероятности вытекают ее основные свойства:
1. 0 6 P (B|A) 6 1, причём P (B|A) = 1 когда A ⊂ B; B - достоверное случайное событие.
P (B|A) = 0 ⇐⇒ A; B несовместны, или известно, что B – невозможное событие. 2. Пусть B1 ⊂ B (появление B1 вызывает событие B). P (B1|A) 6 P (B|A).
3. Если B и C несовместны P (B + C|A) = P (B|A) + P (C|A) (теорема сложения веро-ятностей для несовместных событий)
4. ¯
P (B|A) = 1 − P (B|A)
Замечание: Пусть имеется K (и только K) попарно несовместных исходов некоторого опыта A1; A2; : : : ; Ak, называемых гипотезами. Пусть некоторое случайное событие B может произойти при выполнении одной из гипотез. Тогда очевидно, что B = A1B + A2B + : : : + AkB (все события AiB несовместны, поэтому можно воспользоваться тео-ремой сложения вероятностей)
-
(
k
)
k
k
P (Ai) ∗ P (B|Ai)
P (B) = P
i=1
AiB
=
=1
P (AiB) =
i=1
∑
∑i
∑ (
)
Формула носит название формулы полной вероятности
∑k
P (B) = P (Ai) ∗ P (B|Ai)
i=1
7
Задача: Имеется 5 урн : в двух по одному белому и пять чёрных шаров; в одной – 2 бе-лых, 5 чёрных; в двух – 3 белых, 5 чёрных шаров. Наудачу выбирается одна урна. Из неё извлекается один шар. Какова вероятность того, что шар белый?
-
Решение: Выберем в качестве гипотез 3 способа
A1
: {Выбрана урна с 1 б.ш}
P (A1) = 2/5
P (B|A1) = 1/6
A2
: {Выбрана урна с 2 б.ш}
P (A2) = 1/5
P (B|A2) = 2/7
A3
: {Выбрана урна с 3 б.ш}
P (A3) = 2/5
P (B|A3) = 3/8
B = извлечён белый шар
P (B) = 16 ∗ 25 + 27 ∗ 15 + 38 ∗ 25 = 2384
Математическое ожидание случайной величины и его основные свойства
Введение.
Важнейшей числовой характеристикой является её математическое ожидание или
∑n
среднее значение, вычисляемое по правилу M = xipi), где xi – принимаемые зна-
i=1
чения, pi – вероятности их выпадения.
С помощью математического ожидания мы можем сравнивать между собой две случай-ные величины (например, из двух стрелков лучший тот, кто выбивает в среднем наиболь-шее число очков), однако встречаются задачи, в которых знание одного лишь M недо-статочно.
Пример: Пушка ведёт прицельный огонь по мишени, удалённой от пушки на расстояние a. Обозначим дальность полёта снаряда через километров; M = a
Отклонение M от a свидетельствует о наличии систематической ошибки (производ-ственный дефект, неправильный угол наклона). Ликвидация систематической ошибки до-стигается изменением угла наклона орудия.
Вместе с тем, отсутствие систематической ошибки ещё не гарантирует высокую точность стрельбы. Чтобы оценить точность надо знать, насколько близко ложатся снаряды к цели.
Как определить точность стрельбы и сравнить между собой качество стрельбы двух ору-дий?
Отклонение снаряда от цели - − a
M( − a) = M − a = a − a = 0
В среднем, положительные и отрицательные значения M сокращаются. Поэтому приня-то характеризовать разброс значений случайной величины математическим ожиданием квадрата её отклонения от своего математического ожидания. Полученное таким обра-зом число называется дисперсией случайной величины .
D = M( − a)2 = M[ − M ]2
Ясно, что в случае орудий, ведущих стрельбу, лучшим следует считать орудие, у которого D будет наименьшей.
8
Пусть характеризуется таблицей вероятностей
-
xi :
x1
x2
: : :
xn
pi :
p1
p2
: : :
pn
n
n
M = xipi;
D = M( − M )2 = (xi − M )2 ∗ pi
i=1
=1
∑
∑i
Определение математического ожидания
Пусть есть некоторое пространство, в котором имеется некоторое = (!i).
!i – неразделимое событие (пример: исходы броска монеты); !i : (i = 1; n¯).
Совокупность !i образует пространство элементарных событий Ω = {!1; !2; : : : ; !n}
Математическим ожиданием случайной величины называется число, обозначаемое M и равное
∑ ∑n
M = {(!i) ∗ P (!i)} = (!i) ∗ p(!i), где pi - элементарные вероятности.
!i∈Ω i=1
Из определения математического ожидания вытекают следующие свойства: 1. Аддитивность. M( + ) = M + M .
-
( n
)
n
∑
∑
Следствие M
k =
(M k).
k=1
k=1
-
∀C = const : M(C ∗ ) = C ∗ M . Совокупность свойств 1 и 2 даёт нам свойство линейности математического ожидания:
M(C1 1 + C2 2 + : : : + Cn n) = C1M( 1) + C2M( 2) + : : : + CnM( n)
-
Математическое ожидание индикатора случайного события равно вероятности этого случайного события.
Индикатор [ ]: M A(!) = P (A) - случайная величина, принимающая 2 значения:
A(!) = {1; ! ∈ A | 0; ! ̸∈A}
∑
P (!) = P (A)
!∈A
-
M A(!) =
1 ∗ p(!) +0 ∗ p(!) =
1 ∗ p(!) = P (A):
!∈A
!̸∈A
!∈A
∑
∑
∑
4. Свойство монотонности > ⇒ M > M .
9
Докажем вначале, что имеет место следующее свойство > 0 ⇒ M > 0 (при разложе-нии по определению неотрицательны).
∑
M = (!)p(!) > 0:
!
Применим полученное свойство:
− > 0 ⇒ M( − ) > 0 ⇒ M − M > 0 ⇒ M > M :
Формулы вычисления математического ожидания
Пусть x1; x2; : : : ; xn –- значения случайной величины , принимаемые с вероятностями p1; : : : ; pi. Тогда имеет место следующая формула для вычисления математического ожи-дания :
∑n
M = xi ∗ P ( = xi)
i=1
Чтобы доказать формулу будем исходить из того, что может быть представлена в виде линейной комбинации индикаторов случайных событий
∑n
= xi ∗ Ai (!)
i=1
Ai{!i : = xi}
Левые и правые части соотношения совпадают. Применим к написанному равенству опе-рацию математического ожидания:
-
(
n
)
n
n
n
M
i=1
xi Ai (!)
=
i=1
M xi Ai
(!) =
i=1
xiM Ai
(!) =
=1
xiP ( = xi)
∑
∑
(
)
∑
(
)
∑i
Рассуждая аналогично, нетрудно получить формулы вычисления математического ожи-дания от величин, представляющих собой функции случайных величин.
Пусть заданы f( ); g( ; ).
В этом случае
n
-
M(f( )) =
(f(xi) ∗ P ( = xi))
=1
∑i
)
n
m
M(g( ; )) =
=1
(j=1 g(xi; yj) ∗ P= xi; = yi
∑i
∑
(
)
Здесь P ( ; ) – совместная вероятность.
10
-
Мультипликативное свойство математического ожидания
Пусть ; - независимые случайные величины, то M( ; ) = M ∗ M Доказательство:
-
n
m
)
M( ; ) =
=1
(j=1 xi ∗ yj ∗ P= xi; = yj
∑i
∑
(
)
Если ; независимы, то для них применима теорема умножения вероятности.
P ( = xi; = yj) = ( ; независимы) = P ( = xi) ∗ P ( = yj)
-
n
m
=1
(j=1 xi ∗ yj ∗ P ( = xi) ∗ P ( = yj))
=
∑i
∑
n
m
∑
∑
-
xi ∗ P ( = xi) ∗ yi ∗ P ( = yj) = M ∗ M
i=1 j=1
Замечание: Все написанные формулы имеют место, если вероятностное пространство конечно, т.е. число элементарных событий конечно !i = (1; n¯).
В случае, если вероятностное |
пространство счётно, количество элемен- |
|||
тарных сообщений бесконечно, |
тогда для случайной величины (!); ! |
∈ |
||
(счетное вероятностное пространство) имеют место следующие формулы: |
|
|||
|
|
|
|
|
|
!i; i = [1; ∞] |
|
||
|
∞ |
|
||
M = |
(xi ∗ P ( = xi)) |
|
||
|
=1 |
|
|
|
|
∑i |
|
∑∞
Mf( ) = (f(xi) ∗ P ( = xi))
i=1
В формулах справа стоят ряды. Чтобы математические ожидания существовали надо, что-бы эти ряды сходились. Ряд сходится, если он имеет конечную сумму.
Задача: Вычислить M , распределённой по закону Пуассона. P ( = k) = (ak/k!)e−a, где k = {0; 1; 2; 3; 4; : : : ; ∞}; a > 0 – заданный заранее характер распределения.