Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теоретические основы информатики. Учебно-методическое пособие
.pdf
дискретной случайной величиной. И для каждого из возможных значений ξk
Wk
pp
.1
n
ik
k
p
графический
табличный
аналитический
ξk 2 3 4 5
р(ξk)
0,1
0,1
0,5
0,3
р(ξk) = f(ξk)
k
kk
pM )(
)()( tpp
Rt
)(')(
P
dtttM )(
0
0,1
0,2
0,3
0,4
0,5
0,6
2 3 4 5
p(ξk)
вероятность этого значения определена по формуле:
.
Другими словами, дискретной называют случайную величину, которая
принимает отдельные, изолированные возможные значения с определенными
вероятностями. Непрерывной называют случайную величину, которая может
принимать все значения из некоторого конечного или бесконечного промежутка.
Если значение случайной величины ξk появляется с вероятностью р(ξk), то
Закон распределения дискретной случайной величины – это соотношение,
которое каждому значению дискретной случайной величины ξk ставит в
соответствие вероятность ее появления р(ξk).
Закон распределения можно задавать 3 способами:
средним значением) называется
определяющая вероятность того, что случайная величина
испытания примет значение меньше t:
величины ξ – это функция ρ(ξ) – первая производная от функции распределения
Р(ξ).
плотностью распределения вероятности ρ(ξ) (или ее средним значением)
называется
а) дискретной случайной величины, заданной таблично:
Математическим ожиданием дискретной случайной величины ξ (или ее
.
Закон распределения непрерывной случайной величины – это функция,
в результате
, где
.
Плотность распределения вероятностей непрерывной случайной
.
Математическое ожидание непрерывной случайной величины ξ с
.
Пример. Найти математическое ожидание
51
ξ 3 5 2 P(ξ)
0,1
0,6
0,3
Решение: Мξ = 3∙0,1 + 5∙0,6 + 2∙0,3 = 3,9.
1,1
10,
0,0
)(
P
0
1
0
)(')(
P
.
2
1
2
1
0
2
1
0
t
tdtM
MMM )(
.
2
k
k
k
pMD
.)(
2
dttMD
k
89,1)9,32(3,0)9,35(6,0)9,33(1,0)(
222
D
.
12
1
4
1
234
1
2
1
1
0
1
0
23
2
1
0
2
t
tt
dtttdttD
DDD )(
б) непрерывной случайной величины с распределением
.
Решение: Сначала найдем плотность распределения:
, затем уже само математическое ожидание
Математическое ожидание суммы случайных величин ξ и η,
определенных на одном и том же вероятностном пространстве, имеющих конечное
математическое ожидание, определено и вычисляется по формуле:
.
Дисперсией дискретной случайной величины ξ, имеющей конечное
математическое ожидание Мξ, называется
Дисперсией непрерывной случайной величины
с плотностью
распределения вероятности ρ(), имеющей конечное математическое ожидание М
, называется
Пример. Найти дисперсию (условие аналогично предыдущему примеру)
а)
б)
Дисперсией суммы независимых случайных величин ξ и η, определенных
на одном и том же дискретном вероятностном пространстве и имеющих конечную
дисперсию, называется
.
§ 5.4. Повторные независимые испытания.
Рассмотрим опыт с двумя исходами. Один из исходов назовем успехом,
второй – неудачей. Если вероятность успеха р, то вероятность неудачи q = 1 – p.
Повторим этот опыт n раз, предполагая, что результат одного опыта не влияет на
другой. Такой эксперимент называется повторными независимыми
испытаниями, или схемой Бернулли, или биномиальным распределением.
52
Результатом биномиального можно считать количество успехов. Тогда это
knk
n
qp
knk
n
kmp
)!(!
!
)(
npq
npk
n
e
npq
kmp
2
)(
2
2
1
)(
knk
kj
j
n
qp
knk
n
kmp
1
)!(!
!
)(
dxekmp
npq
npk
x
n
2
2
2
1
)(
Х 1 2
случайная величина, принимающая значения 0, 1, …, п.
Вероятность k успехов при п испытаниях рассчитывается по формуле
Бернулли:
Mξ = np Dξ = npq
Если п – большое, то используют формулу
Вероятность того, что количество успехов в серии из п независимых
испытаний не превысит числа k:
Если п - большое, то
.
Практическая работа №11
Задание 11.1. В урне лежит 7 белых, 3 черных и 5 красных шара. Найти
вероятность событий «вытащить черный шар», «вытащить не цветной шар».
Задание 11.2. Вероятность того, что день будет дождливым равна 0,7.
Определить вероятность того, что день будет ясным.
Задание 11.3. В урне 7 белых и 5 черных шаров. Из урны извлекают два
шара (по одному), не возвращая. Найти вероятность появления белого шара при
втором испытании, если при первом был извлечен черный.
Задание 11.4. В ящике 70 деталей, 15 из них с браком. Из ящика извлекают
детали, по одной, не возвращая. Найти вероятность появления второй бракованной
детали, если первая деталь была качественной.
Задание 11.5. Два спортсмена ведут стрельбу по мишеням. Вероятность того
что первый спортсмен попадет в мишень равна 0,6, а вероятность попадания у
второго – 0,4. Найти вероятность того, что оба спортсмена поразят мишень? Ни
один из спортсменов не попадет в цель? Хотя бы один спортсмен поразит цель?
Задание 11.6. Первый студент не сдал сессию с вероятностью 0,2, а второй
– с вероятностью 0,3. Найти вероятность того, что они оба не сдадут сессию.
Задание 11.7. Дискретная случайная величина Х имеет закон распределения
вероятностей. Чему равно математическое ожидание М(Х) и дисперсия D(X) этой
случайной величины.
53
p
0,7
0,3
Задание 11.8. Найти математическое ожидание и дисперсию дискретной
ζ 5 10
15
20
25
p(ζ)
0,3
0,3
0,2
0,1
0,1
p(ζ)
0,4
0,3
0,2
0,1
0 1 2 3 4 5
ζ
ζ
11 7 8 5 p(ζ)
0,6
0,1
0,2
0,1
случайной величины заданной таблицей графиком:
Задание 11.9. Найти математическое ожидание и дисперсию непрерывной
случайной величины, заданной функцией распределения:
Задание 11.10. В семье Ивановых четверо детей. Вероятность рождения
девочки равно 0,5. Найти вероятность того, что в семье Ивановых 2 мальчика; не
более двух девочек; боле двух девочек; не менее двух девочек?
Самостоятельная работа №8
Вариант 1.
1. Брошена игральная кость. Найти вероятность того, что выпадет простое число.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь крести, если первая карта была – крестовый король.
3. Найти математическое ожидание и дисперсию дискретной случайной
величины заданной таблицей:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
54
5. В семье 5 детей. Найти вероятность того, что среди них два мальчика, если
p(ζ)
0,4
0,3
0,2
0,1
0 1 2 3 4 ζ
ζ 5 7 8 9
p(ζ)
0,4
0,4
0,1
0,1
вероятность рождения мальчика составляет 0,61.
Вариант 2.
1. В цехе работают 11 мужчин, 15женщин и 7 подростков. Наудачу отобран один
человек. Найти вероятность того, что отобранный человек окажется взрослым
человеком.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь черви, если первая карта была – пиковая дама.
3. Найти математическое ожидание и дисперсию дискретной случайной величины
заданной графиком:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
5. В семье 6 детей. Найти вероятность того, что среди них не более двух
мальчиков, если вероятность рождения мальчика составляет 0,53.
Вариант 3.
1. Брошена игральная кость. Найти вероятность того, что выпадет число кратное
трем.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь пиковую масть, если первая карта была – дама пики.
3. Найти математическое ожидание и дисперсию дискретной случайной
величины заданной таблицей:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
55
5. В семье 5 детей. Найти вероятность того, что среди них более двух мальчиков,
p(ζ)
0,3
0,2
0,1
0 2 4 6 8 ζ
ζ
10 7 4
1
p(ζ)
0,4
0,3
0,2
0,1
если вероятность рождения мальчика составляет 0,31.
Вариант 4.
1. Определить вероятность с первого раза набрать правильно забытую цифру,
если абонент не помнит первую цифру номера телефона.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь черви, если первая карта была – червовый туз.
3. Найти математическое ожидание и дисперсию дискретной случайной величины
заданной графиком:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
5. В семье 6 детей. Найти вероятность того, что среди них не менее двух
мальчиков, если вероятность рождения мальчика составляет 0,48.
Вариант 5.
1. Брошена игральная кость. Найти вероятность того, что выпадет четное число.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь бубновую масть, если первая карта была – бубновый
валет.
3. Найти математическое ожидание и дисперсию дискретной случайной величины
заданной таблицей:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
5. В семье 5 детей. Найти вероятность того, что среди них три мальчика, если
вероятность рождения мальчика составляет 0,8.
56
Вариант 6.
p(ζ)
0,4
0,3
0,2
0,1
0
1 2 3 4 ζ
ζ 1 3 5 7
p(ζ)
0,5
0,1
0,2
0,2
1. Брошена игральная кость. Найти вероятность того, что выпадет число кратное
двум.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь крести, если первая карта была – бубновая восьмерка.
3. Найти математическое ожидание и дисперсию дискретной случайной
величины заданной графиком:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
5. В семье 6 детей. Найти вероятность того, что среди них не более трех
мальчиков, если вероятность рождения мальчика составляет 0,47.
Вариант 7.
1. Определить вероятность с первого раза набрать правильно забытую цифру,
если абонент не помнит последнюю цифру номера телефона.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь пиковую карту, если первая карта была – пиковая
девятка.
3. Найти математическое ожидание и дисперсию дискретной случайной
величины заданной таблицей:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
5. В семье 5 детей. Найти вероятность того, что среди них более трех мальчиков,
если вероятность рождения мальчика составляет 0,44.
57
Вариант 8.
p(ζ)
0,4
0,3
0,2
0,1
0 3 6 9
12
ζ
1. Брошена игральная кость. Найти вероятность того, что выпадет составное
число.
2. Из колоды вытаскивают две карты, по одной, не возвращая. Найти вероятность
во втором опыте извлечь червовую масть, если первая карта была – червовая
десятка.
3. Найти математическое ожидание и дисперсию дискретной случайной величины
заданной графиком:
4. Найти математическое ожидание и дисперсию непрерывной случайной
величины, заданной функцией распределения:
5. В семье 6 детей. Найти вероятность того, что среди них не менее трех
мальчиков, если вероятность рождения мальчика составляет 0,53.
Вопросы для самоконтроля.
1. Какие виды событий вы знаете?
2. Что такое пространство элементарных событий?
3. Что такое перестановка?
4. Что такое независимые события?
5. Что такое плотность вероятности случайной величины?
6. Каковы характеристики показательного распределения?
7. Чем отличается ковариация от коэффициента корреляции?
Тема 6. Энтропия и информация.
§ 6.1. Энтропия
Главным свойством случайных событий является отсутствие полной
уверенности в их наступлении, создающее некоторую неопределенность. И в
58
разных случаях эта неопределенность будет разной. Для практики, а именно для
nan
abb
logloglog
a
b
log
исходы опыта Ai
A1
A2 … An
определения количества информации, важно уметь численно оценивать степень
неопределенности (энтропию) самых разнообразных опытов.
Начнем с простой ситуации: пусть опыт имеет п равновероятных исходов.
Очевидно, что мера неопределенности – это функция от п: f(п). Если п = 1, т.е. опыт
имеет единственный исход, значит событие достоверно и неопределенность равна
нулю: f(1) = 0. При увеличении п результат опыта предсказать труднее, значит
неопределенность возрастает.
Получены два свойства функции неопределенности:
1) f(1) = 0.
2) f(n) возрастает с ростом n.
Для более точного определения разберем следующий опыт. Рассмотрим два
независимых опыта α и β, т.е. такие опыты, что любые сведения об исходе первого
из них никак не меняют вероятностей исходов второго. Пусть опыт α имеет k
равновероятных исходов, опыт β имеет l равновероятных исходов. Рассмотрим
сложный опыт αβ, состоящий в одновременном выполнении опытов α и β.
Очевидно, что неопределенность αβ больше неопределенности α, т.к. к
неопределенности α добавляется неопределенность β. Т.к. α и β независимы, они
никак не могут повлиять друг на друга и на неопределенность αβ = f(k) + f(l).
Т.к. опыт αβ имеет kl равновероятных исходов (они получаются, если
комбинировать каждый из k исходов с l) αβ = f (k∙l).
f (k∙l) = f(k) + f(l).
Итак, к полученным ранее двум свойствам функции неопределенности
добавляется третье – свойство аддитивности. Всем трем свойствам удовлетворяет
логарифмическая функция – log(n). Т.е., мера неопределенности опыта, имеющего
п равновероятных исходов, равна log n.
Заметим, что выбор основания логарифма в данном случае значения не
имеет, т.к. из формулы перехода к новому основанию
следует,
что переход к новому основанию от старого состоит во введении дополнительного
множителя
, что равносильно простому изменению единицы измерения.
Можно выбрать «удобное» основание логарифма. Таким «удобным» основанием
является 2, т.е. это неопределенность опыта с двумя равновероятными исходами.
Единица измерения неопределенности при двух возможных равновероятных
исходах опыта называется бит, т.е. log22 = 1 бит. В дальнейшем основание 2 будем
пропускать.
Если за единицу измерения неопределенности взять опыт с 10
равновозможными исходами, то получим дит.
Величина неопределенности получила название энтропия.
Энтропия Н (α) опыта α с п равновероятными исходами является мерой
неопределенности опыта α и вычисляется
Рассмотрим опыт с п равновероятными исходами.
Н(α) = log n (формула Хартли).
59
вероятность pi
n
1
n
1
…
n
1
n
1
.log
1
log
1
log
1
ii
pp
nn
n
n
исходы опыта
А1
А2
А3
вероятность
2
1
3
1
6
1
6
1
log
6
1
;
3
1
log
3
1
;
2
1
log
2
1
6
1
log
6
1
3
1
log
3
1
2
1
log
2
1
)( AH
)(log)(...)(log)()(log)(
2211 nn
ApApApApApAp
n
i
ii
ppH
1
log)(
3log229log4log94log36log)(
H
2log
2
1
4log
4
1
4log
4
1
16
8
log
16
8
4
1
log
4
1
16
4
log
16
4
)(
H
2
3
2
1
11
2
1
2
4
1
2
4
1
11
2
1
1
2
1
2log
2
1
2log
2
1
16
8
log
16
8
16
8
log
16
8
H
)()(
HH
Можно считать, что каждый отдельный исход, имеющий вероятность
вносит свою неопределенность, равную
Но тогда естественно считать, что результат опыта с неравновероятными
исходами, например:
Вносят неопределенности:
неопределенность
.
общая
Аналогично можно поступить в общем случае. Для опыта α с A1, …, Ai, …,
An исходами и вероятностями p1, …, pi, …, pn мера неопределенности равна
.
Энтропией опыта α с п исходами, вероятности которых равны p1, …, pn
называется величина
,
(формула Шеннона).
Пример: Какова энтропия опыта, состоящего в извлечении случайным
образом одной карты из колоды (36 шт.)?
Решение: Исходы опыта равновероятны, значит, применяется формула Хартли:
(бит).
Пример: Имеется два ящика, в каждом из которых по 16 шаров. В первом 4
белых, 4 черных и 8 красных. Во втором 8 белых и 8 черных. Опыт состоит в
вытаскивании по одному шару из каждого ящика. Что можно сказать относительно
неопределенности исходов этих опытов?
Решение:
(бит)
(бит)
, т.е. неопределенность опыта α выше и, следовательно, предсказать
его можно с меньшей долей уверенности, чем результат опыта β.
60
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]