- •ПРЕДИСЛОВИЕ
- •ОСНОВНЫЕ ОБОЗНАЧЕНИЯ
- •1. КОМБИНАТОРИКА
- •2. ТЕОРИЯ ВЕРОЯТНОСТЕЙ
- •2.1. Классическое определение вероятности
- •2.2. Геометрические вероятности
- •2.3. Теоремы сложения и умножения вероятностей
- •2.4. Формула полной вероятности
- •2.5. Формулы Байеса
- •2.6. Повторные независимые испытания
- •2.6.1. Формула Бернулли
- •2.6.2. Обобщенная формула Бернулли
- •2.7. Простейший (пуассоновский) поток событий
- •2.8. Случайные величины. Функция распределения. Функция плотности вероятности. Числовые характеристики
- •2.8.1. Случайные величины
- •2.8.2. Функция распределения
- •2.8.3. Функция плотности вероятности
- •2.8.4. Числовые характеристики случайных величин
- •2.9. Нормальный закон распределения
- •2.10. Асимптотика схемы независимых испытаний
- •2.10.2. Формула Пуассона
- •2.11. Функции случайных величин
- •2.12. Функции нескольких случайных аргументов
- •2.12.1. Свертка
- •2.12.2. Распределение системы двух дискретных случайных величин
- •2.12.3. Распределение функции двух случайных величин
- •2.13. Центральная предельная теорема
- •2.14. Ковариация
- •2.14.1. Корреляционная зависимость
- •2.14.2. Линейная корреляция
- •2.15. Функциональные преобразования двухмерных случайных величин
- •2.16. Правило «трех сигм»
- •2.17. Производящие функции. Преобразование Лапласа. Характеристические функции
- •2.17.1. Производящие функции
- •2.17.2. Преобразование Лапласа
- •2.17.3. Характеристические функции
- •3. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
- •3.1. Точечные оценки
- •3.1.1. Свойства оценок
- •3.1.2. Оценки для математического ожидания и дисперсии
- •3.1.3. Метод наибольшего правдоподобия для оценки параметров распределений
- •3.1.4. Метод моментов
- •3.2. Доверительный интервал для вероятности события
- •3.3. Проверка гипотезы о равенстве вероятностей
- •3.4. Доверительный интервал для математического ожидания
- •3.4.1. Случай большой выборки
- •3.4.2. Случай малой выборки
- •3.5. Доверительный интервал для дисперсии
- •3.6. Проверка статистических гипотез
- •3.6.1. Основные понятия
- •3.6.2. Критерий согласия «хи-квадрат»
- •3.6.3. Проверка гипотезы о независимости двух случайных величин
- •3.6.4. Проверка параметрических гипотез
- •3.6.5. Проверка гипотезы о значении медианы
- •3.6.6. Проверка гипотезы о равенстве математических ожиданий
- •3.7. Регрессионный анализ. Оценки по методу наименьших квадратов
- •3.8. Статистические решающие функции
- •4. СЛУЧАЙНЫЕ ПРОЦЕССЫ
- •4.1 Стационарные случайные процессы
- •4.2. Преобразование случайных процессов динамическими системами
- •4.3. Процессы «гибели и рождения»
- •4.4. Метод фаз Эрланга
- •4.5. Марковские процессы с дискретным множеством состояний. Цепи Маркова
- •4.6. Марковские процессы с непрерывным временем и дискретным множеством состояний
- •4.7. Модели управления запасами
- •4.8. Полумарковские процессы
- •5. НЕКОТОРЫЕ ИНТЕРЕСНЫЕ ЗАДАЧИ
- •БИБЛИОГРАФИЧЕСКИЙ СПИСОК
- •ПРИЛОЖЕНИЯ
- •ОГЛАВЛЕНИЕ
3. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
3.1. Точечные оценки
3.1.1. Свойства оценок
Пусть |
случайная величина имеет неизвестную характеристику. |
|
||||||||||||
Такой характеристикой может быть, например, закон распределения, |
|
|
||||||||||||
математическое |
ожидание, |
дисперсия, |
параметр |
закона |
распределения, |
|
||||||||
вероятность |
|
определенного |
значения |
случайной |
|
|
величины . |
и |
т.д |
|||||
Пронаблюдаем случайную величинуn раз и получим выборку из ее |
|
|||||||||||||
возможных |
значений Х1, Х 2 ,K, Х n . В |
выборке |
скрыта |
информация |
об |
|
||||||||
интересующей нас характеристике. Для получения этой информации |
|
|||||||||||||
необходимо |
|
подвергнуть |
|
результаты |
наблюдений |
соответствующей |
|
|||||||
обработке. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Существует два подхода к решению этой задачи. Можно по результатам |
|
|
||||||||||||
наблюдений вычислить приближенное значение характеристики, |
можно |
|
|
|||||||||||
указать целый интервал ее значений, согласующихся с опытными данными. В |
|
|
||||||||||||
первом случае говорят о точечной оценке, во втором –– об интервальной. |
|
|
||||||||||||
Определение. |
Функция |
результатов |
|
|
наблюдений |
|
|
|||||||
а% = а%( Х1, Х 2 ,¼, Х n ) , |
значения |
которой |
близки к |
неизвестному |
значению |
|
||||||||
характеристики а, называется точечной оценкой этой характеристики. |
|
|
||||||||||||
Для одной и той же характеристики можно предложить разные |
|
|||||||||||||
точечные оценки. Необходимо иметь критерии сравнения оценок, для |
|
|
||||||||||||
суждения об их качестве. Оценка а%( Х1, Х 2 ,¼, Х n ) , как функция случайных |
|
|
||||||||||||
результатов |
|
наблюдений Х1, Х 2 ,K, Х n , |
сама |
является |
случайной |
|
||||||||
величиной. Значения а%, найденные по разным сериям наблюдений, могут |
|
|
||||||||||||
отличаться |
от |
истинного |
значения |
характеристики в |
|
ту |
или |
другую |
|
|||||
сторону. Естественно потребовать, чтобы |
оценка систематически |
не |
|
|||||||||||
завышала |
и не |
занижала оцениваемое значение, |
с ростом числа |
|
||||||||||
наблюдений |
|
становилась |
|
более |
точной. Формализация |
названных |
|
требований приводит к следующим понятиям. |
|
||
Определение. |
Оценка |
называетсянесмещенной, если |
ее |
математическое ожидание равно |
оцениваемой величине: М (а%) = а. |
В |
|
противном случае оценку называют смещенной. |
|
Определение. Оценка называется состоятельной, если при увеличении числа наблюдений она сходится по вероятности к оцениваемой величине, т.е. для любого сколь угодно малого e > 0
n®¥
Р(| а%( Х1, Х 2 ,K, Х n ) - a | < e) ¾¾¾®1.
175
Если известно, что оценка а% несмещенная, то для ее состоятельности достаточно, чтобы
n®¥
D(а%( Х1, Х 2 ,K, Х n )) ¾¾¾®0.
Последнее условие удобно для проверки.
В качестве меры разброса значений оценки а% относительно а можно рассматривать величину М (а% - а)2. Из двух оценок предпочтительней та, для которой эта величина меньше. Если оценка имеет наименьшую меру
разброса |
среди |
всех |
оценок |
характеристики, построенных |
по n |
наблюдениям, то оценку называют эффективной. |
|
||||
Следует отметить, что |
несмещенность и состоятельность |
являются |
желательными свойствами оценок, но не всегда разумно требовать наличия этих свойств у оценки. Например, может оказаться предпочтительней
оценка |
|
хотя |
и |
обладающая |
небольшим |
смеще, ноием имеющая |
||
значительно меньший разброс значений, нежели |
несмещенная оценка. |
|||||||
Более |
того, |
есть |
характеристики, |
для |
которых нет |
одновременно |
||
несмещенных и состоятельных оценок. |
|
|
|
|||||
|
|
3.1.2. Оценки для математического ожидания и дисперсии |
|
|||||
Пусть |
случайная величина имеет неизвестные математическое |
|||||||
ожидание |
и |
дисперсию, причем |
D( X ) < ¥. |
Если Х1, Х 2 ,K, Х n –– |
результаты n независимых наблюдений случайной величины, то в качестве
оценки для математического ожидания можно предложить среднее арифметическое наблюдаемых значений
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= åХ i |
/ n. |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
Х |
|
|
|
|
|
(3.1.1) |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
||
Несмещенность такой оценки следует из равенств |
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
çæ |
n |
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
åXi ÷ö |
|
|
åM ( X i ) |
|
|
|
|
|
|
|||||||||||
|
|
|
|
) = М ç |
|
|
|
|
|
|
|
|
|
|
nM=( X ) |
|
M ( X ). |
|
||||||||
М ( Х |
i=1 = |
÷ |
|
|
i=1 = |
|
||||||||||||||||||||
|
|
|
|
|
|
ç |
|
n |
÷ |
|
|
|
n |
|
|
|
|
n |
|
|
|
|||||
|
|
|
|
|
|
ç |
|
|
÷ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
è |
|
|
ø |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В силу независимости наблюдений |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
æ 1 |
n |
ö |
1 |
|
|
n |
|
n D( X ) D( X ) |
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||||||
D( Х ) = Dç |
|
åX=i ÷ |
|
|
|
|
å=D( X i ) |
|
= |
|
2 |
|
|
|
. |
(3.1.2) |
||||||||||
|
|
n |
2 |
|
n |
|
|
n |
||||||||||||||||||
|
|
|
|
è n i=1 |
ø |
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|||||||||
При условии D( X ) < ¥ |
|
|
|
|
|
|
|
|
|
|
D( X ) |
n®¥ |
|
|
|
|||||||||||
|
|
|
|
|
|
|
D( X ) = |
|
|
|
||||||||||||||||
|
имеем |
|
|
|
|
|
|
¾¾¾®0, что |
означает |
|||||||||||||||||
|
|
|
n |
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
состоятельность оценки X |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
Доказано, что |
|
|
для |
|
|
|
математического |
ожидания |
нормально |
|||||||||||||||||
|
|
еще и эффективна. |
|
|||||||||||||||||||||||
распределенной случайной величины оценка Х |
|
176
Оценка |
математического |
|
ожидания |
|
посредством |
среднего |
|||||||||||||||||||
арифметического наблюдаемых значений наводит на мысль предложить в |
|
||||||||||||||||||||||||
качестве оценки для дисперсии величину |
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
% |
|
|
1 |
|
|
n |
|
|
|
|
2 |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
å( X i |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
D = |
|
|
|
- X ) |
. |
|
|
|
|
|
|
||||||||||
Преобразуем величину D, |
n i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
обозначая для краткости М(Х) через m: |
|
||||||||||||||||||||||||
|
|
|
|
|
% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
% |
1 |
|
|
n |
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
D = |
|
|
|
|
éX |
i |
- m - |
( X - m)ù = |
|
|
|
|
|
||||||||||
|
|
|
|
åë |
|
|
|
|
|
|
|
|
|
û |
|
|
|
|
|
|
|||||
|
|
|
n i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
n |
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
2 |
|
|
|
1 |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
n( X - m) |
|
||||||
= |
å( X i - m)2 - |
|
|
|
- m)å( X i - m) + |
|
= |
|
|||||||||||||||||
|
( X |
|
|||||||||||||||||||||||
|
|
|
|
|
|||||||||||||||||||||
|
n i=1 |
|
|
|
n |
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
n |
|
|
|
=1 ån ( X i - m)2 - ( X - m)2. n i=1
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
В силу (3.1.2) имеем M ( Х - m) |
|
|
D=( X ) |
= |
D( X ). Поэтому |
|
||||||||||||||||
|
|
1 |
n |
|
|
|
|
D( X ) |
|
|
n |
D( X ) |
|
n |
-1 |
|
||||||
% |
|
|
2 |
|
|
|
|
|
|
|||||||||||||
M (D) |
= |
|
åM ( X i - m) |
|
|
- |
n |
|
= D( X ) - |
n |
= |
n |
|
D( X ). |
||||||||
|
|
n i=1 |
|
|
|
|
|
|
|
|
|
|||||||||||
Последняя |
запись |
означает, что |
оценка D имеет |
смещение. Она |
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
% |
|
|
|
|
|
систематически |
|
занижает |
истинное |
значение дисперсии. Для получения |
n
несмещенной оценки введем поправку в виде множителя и n -1
полученную оценку обозначим через s2:
|
|
|
|
n |
|
|
)2 |
n |
|
|
)2 |
|
|
n |
% |
n |
|
å( X i - X |
å( X i - X |
2 |
|
||||||
i=1 |
|
|
|
i=1 |
|
|
|
|
|||||
|
D = |
n -1 |
|
= |
|
|
= |
|
s |
. |
|||
n -1 |
|
n |
|
n -1 |
|
|
Величина
n
å( X i - X )2
s2 = |
i=1 |
|
(3.1.3) |
|
|
||
|
|
n -1 |
является несмещенной и состоятельной оценкой дисперсии.
Пример 3.1. Оценить математическое ожидание и дисперсию случайной величины Х по результатам ее независимых наблюдений: 7, 3, 4, 8, 4, 6, 3.
Решение. По формулам (3.1.1) и (3.1.3) имеем
|
|
|
|
|
7 + 3 + 4 + 8 + 4 + 6=+ 3 |
5; |
|
|
|
|
|
|
|
М ( X ) » X |
|
|
|
||||
|
|
|
|
|
|
7 |
|
|
|
|
D( X ) » s |
2 |
(7 - 5)2 |
+ (3 - 5)2 + (4 - 5)2 + K+ (3 - 5)2 |
25 |
» 4,17. |
|||||
|
= |
= |
|
|
|
|
|
|
||
|
|
|
6 |
|
6 |
|||||
|
|
|
|
|
|
|
|
177
Ответ. М ( X ) » 5; D( X ) » 4,17.
Задача 3.1. Оцените математическое ожидание и дисперсию случайной величины Х по результатам ее независимых наблюдений. (См. пример 3.1; в качестве исходных данных возьмите данные к задаче 3.22.)
Пример 3.2. Данные 25 независимых наблюдений случайной величины представлены в сгруппированном виде:
Границы |
5–7 |
7–9 |
9–11 |
11–13 |
13–15 |
|
интервалов |
||||||
|
|
|
|
|
||
Число |
2 |
4 |
9 |
7 |
3 |
|
наблюдений |
||||||
|
|
|
|
|
Требуется оценить математическое ожидание и дисперсию этой случайной величины.
Решение. Представителем каждого интервала можно считать его середину. С учетом этого формулы(3.1.1) и (3.1.3) дают следующие оценки:
|
|
|
|
|
6 × 2 + 8 × 4 +10 ×9 +12 ×7 +14 ×3 |
260 |
|
|
|
|||||
|
|
|
|
|
|
|
||||||||
М ( X ) » |
X |
= |
= |
= |
|
|
|
10,4; |
|
|||||
|
25 |
|
||||||||||||
|
|
|
|
|
|
|
|
25 |
|
|
|
|
||
D( X ) » s |
2 |
(6 |
-10, 4)2 × 2 + (8 -10, 4)2 |
× 4 +K+ (14 |
-10, 4)2 3 120 |
5. |
||||||||
|
= |
= |
= |
|
|
|
|
|
|
|||||
|
24 |
|
|
|
24 |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||
Ответ. |
М ( X ) »10,5; |
D( X ) » 5. |
|
|
|
|
|
|
Задача 3.2. По сгруппированным данным результатов наблюдений случайной величины оцените математическое ожидание и дисперсию этой случайной величины. (См. пример 3.2; в качестве исходных данных возьмите данные к задаче 3.12.)
3.1.3. Метод наибольшего правдоподобия для оценки параметров распределений
В теории вероятностей и ее приложениях часто приходится иметь дело с законами распределения, которые определяются некоторыми параметрами. В качестве примера можно назвать нормальный закон
распределения N (m,s2 ). |
Его |
параметрыm и s2 |
имеют |
смысл |
||||
математического |
ожидания |
и |
дисперсии |
соответственно. Их |
можно |
|||
|
|
и |
s2. В |
общем |
случае |
параметры |
законов |
|
оценить с помощьюХ |
||||||||
распределения |
не всегда |
напрямую связаны со |
значениями |
числовых |
178
характеристик. Поэтому практический интерес представляет следующая задача.
Пусть случайная величина Х имеет функцию распределения F (x, q), причем тип функции распределенияF известен, но неизвестно значение параметра q. По данным результатов наблюдений нужно оценить значение параметра. Параметр может быть и многомерным.
Продемонстрируем идею метода наибольшего правдоподобия на упрощенном примере. Пусть по результатам наблюдений, отмеченных на рис. 3.1.1 звездочками, нужно отдать предпочтение одной из двух функций
плотности вероятности f (x,q1 ) или |
f (x,q2 ) . |
f(x,q1) |
f(x,q2) |
Х
Рис. 3.1.1
Из рисунка видно, что при значении параметраq2 такие результаты наблюдений маловероятны и вряд ли бы реализовались. При значении же q1 эти результаты наблюдений вполне возможны. Поэтому значение
параметра q1 |
более правдоподобно, чем значение q2. Такая |
аргументация |
||
позволяет |
сформулировать |
принцип |
наибольшего |
правдоподобия: |
качестве оценки параметра выбирается то его значение, при котором данные результаты наблюдений наиболее вероятны.
Этот принцип приводит к следующему способу действий. Пусть закон распределения случайной величиныХ зависит от неизвестного значения параметра q. Обозначим через Р(х,q) для непрерывной случайной величины плотность вероятности в точкех, а для дискретной случайной величины –– вероятность того, что Х = х. Если в n независимых наблюдениях реализовались значения случайной величиныХ1, Х 2 ,K, Х n , то выражение
L( Х1, Х 2 ,¼, X n ,q) P(=X1,q)P( X 2 , q) ×¼× P( X n ,q) |
(3.1.4) |
называют функцией правдоподобия. Величина L зависит только от параметра q при фиксированных результатах наблюдений Х1, Х 2 ,K, Х n . При каждом
значении параметра q функция L равна вероятности именно тех значений дискретной случайной величины, которые получены в процессе
179