29. Теоремы Лапласа

Локальная теорема Лапласа

Пусть в каждом из независимых испытаний событие A может произойти с вероятностью , (условия схемы Бернулли). Обозначим как и раньше, через вероятность ровно появлений события А в испытаниях. кроме того, пусть – вероятность того, что число появлений события А находится между и .

Локальная теорема Лапласа.

Если n – велико, а р – отлично от 0 и 1, то

где - функция Гаусса (функция табулирована, таблицу можно скачать на странице формул по теории вероятностей).

Интегральная теорема Лапласа.

Если n – велико, а р – отлично от 0 и 1, то

P(n; k1, k2) где - функция Лапласа (функция табулирована, таблицу можно скачать на странице формул по теории вероятностей).

Функции Гаусса и Лапласа обладают свойствами, которые необходимо знать при использовании таблиц значений этих функций:

а)

б) при больших верно .

Теоремы Лапласа дают удовлетворительное приближение при . Причем чем ближе значения к 0,5, тем точнее данные формулы. При маленьких или больших значениях вероятности (близких к 0 или 1) формула дает большую погрешность (по сравнению с исходной формулой Бернулли).

30. Система случайных величин. Основные понятия. Ковариация. Коэффициент корреляции

Для двумерной случайной величины характеристики ее составляющих и , , , никак не отражают зависимости между и или ее отсутствия. Поэтому вводится еще одна числовая характеристика − корреляционный момент или ковариация.

Определение. Ковариацией или корреляционным моментом случайных величин и называется математическое ожидание произведения отклонений этих величин от их математических ожиданий:

.

Используя формулы для математических ожиданий, получаем

для дискретных величин ,

для непрерывных величин .

Ковариация характеризует зависимость величин.

Свойства корреляционного момента

1. Для независимых случайных величин и .

2. Если , то случайные величины и зависимы.

3. . (Для доказательства достаточно раскрыть скобки под знаком математического ожидания в определении.) В частности

для дискретных величин ,

для непрерывных величин .

4. . (Свойство сразу вытекает из 3.)

5. . (Выразите дисперсию через математические ожидания.)

6. .

7. . (Доказательство этого свойства можно найти в [1, гл.14, § 17].)

Ковариация имеет размерность произведения размерностей случайных величин и и зависит от того, в каких единицах измерялись величины. Для получения безразмерной характеристики вводится понятие коэффициента корреляции.

Определение. Коэффициентом корреляции случайных величин и называется отношение корреляционного момента к произведению средних квадратических отклонений этих случайных величин:

.

Свойства коэффициента корреляции

1. Для независимых случайных величин и .

2. . Коэффициент корреляции по абсолютной величине не превосходит единицы.

3. Если , то случайные величины и связаны линейной зависимостью, т.е. .

 

Определение. Случайные величины и называются некоррелированными, если , и коррелированными, если .

Следует помнить, что понятия некоррелированности и независимости не совпадают, несмотря на внешнее сходство. Независимые величины − некоррелированные, но обратное неверно. Коррелированные величины − зависимые, но обратное неверно. Любые коррелированные величины всегда зависимые, любые независимые величины всегда некоррелированные.

 

31. Зависимые и независимые случайные величины. Условное математическое ожидание. Линии регрессии.

_{Величина Х не зависит от величины Y, если ее закон распределения не зависит от того, какое значение приняла величины Y.}

Для независимых величин выполняется следующие соотношения:

1. F(x,y)=p(X<x,Y<y)=p(X<x)p(Y<y)=F_X(x)F_Y(y);

2. для непрерывных случайных величин f(x, y) = f₁(x)f₂(y);

3. для дискретных случайных величин p_ij = p_i p_j , для " i, j.

Для независимых величин двумерные формы закона распределения не содержат никакой дополнительной информации кроме той, которая содержится в двух одномерных законах.

В случае зависимости величин Х и Y, переход от двух одномерных законов к совместному осуществить невозможно. Для этого необходимо знать условные законы распределения.

Пусть (X,Y) – система дискретных случайных величин. Условным математическим ожиданием дискретной случайной величиныYприусловии, что Х=, называется величина

М[Y│X=]=.

Аналогично, условным математическим ожиданием дискретной случайной величиныXприусловии, что Y=y_j, называется величина

М[Х│Y=]=,: ; .

Пусть - системанепрерывных случайных величин. В этом случае условное математическое ожидание случайной величиныY приусловии, что Х=x_i, определяется равенством:

М[Y│]=.

Аналогично, условное математическое ожидание случайной величиныX приусловии, что Y=y_j, определяется равенством:

М[Х│]=

Функции и линии регрессии.

    Пусть и - две случайные непрерывные величины, находящиеся в корреляционной зависимости. Это значит, что каждому значению x случайной величины соответствует вполне определенное распределение вероятностей величины . Плотность распределения величины при условии, что , называется условной плотностью распределения случайной величины .    Вычислим для данного случая так называемое условное математическое ожидание величины при условии, что . Согласно определению математического ожидания непрерывной случайной величины, имеем

[см. формулу (40)]. Каждому возможному значению x случайной величины соответствует определенное значение условного математического ожидания . Таким образом, мы получаем функцию переменной x. Эта функция y=f(x) называется функцией регрессии величины на , а ее график - линией регрессии на .    Аналогично определяется условное математическое ожидание величины при условии, что :

где - условная плотность вероятности случайной величины при условии, что .    Функция x=g(y) называется функцией регрессии величины на , а ее график - линией регрессии на .

32. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ.

В конце 19 века в теории вероятностей возникло направле­ние исследований, которое получило название: предельные теоремы теории вероятностей. В этом направлении, начало которого было положено нашими соотечественниками П.Л.Чебышевым, А.А.Марковым, А.М.Ляпуновым, по сей день ведутся интенсивные исследования. Предельные теоремы теории вероятностей можно разбить на две боль­шие группы.

1.                 Одна группа теорем составляет "закон больших чисел". Закон больших чисел формулирует условия, при которых совокупное действие большого числа случайных факторов приводит к результату почти не зависящему от случая (т.е. практически постоянный результат)

2.                 Вторая группа теорем связана с выяснением вопроса о распределении сумм большого числа случайных величин. В этих теоремах выясняется, какие законы распределения может иметь сумма случайных величин, если число слагаемых неограниченно увеличивается, и какие условия при этом нужно наложить на сами величины. В частности, центральная предельная теорема посвяще­на установлению сумм, при которых возникает нормальный закон распределения.

Центральная предельная теорема

Первый вариант этой теоремы был доказан в 1912 г. А.М.Ляпуновым. В настоящее время имеется несколько формулировок этой теоремы, различающихся условиями, которые накладываются на случайные величины. Мы приведём простейший вариант центральной предельной теоремы для одинаково распределённых независимых случайных величин.

Пусть  последовательность одинаково распре­делённых случайных величин с математическими ожиданиями  и дисперсиями .

ТЕОРЕМА. Если случайные величины  независимы и , то при достаточно большом n закон распределения суммы  будет сколь угодно близок к нормальному закону распределения .

Так как в условиях теоремы случайные величины независимы, то

т.е. в условиях теоремы сумма  имеет закон распределения близкий к .Так' как  na и  с ростом п, возрастают, то удобнее рассматривать не просто суммы , а нормированные суммы . Такие суммы при  имеют закон распределения .

Мы не приводим доказательства теоремы потому, что оно требует введения многих дополнительных понятий и утверждений. Было потрачено немало усилий, чтобы ослабить условия, налагаемые на случайные величины в центральной предельной теореме. В частности, оказалось, что утверждение теоремы остаётся в силе и для слабо зави­симых случайных величин. Как уже отмечалось, существует много вариантов и соответственно формулировок центральной предельной теоремы, но во всех этих вариантах суть условий одна: Если случайная величина может быть представлена в виде суммы большого числа независимых (или слабо зави­симых) случайных величин, каждая из которых мала по сравнению с суммой, то эта сумма имеет закон распределения близкий к нормальному.

Пример 1. Наглядной иллюстрацией действия центральной предельной теоремы является рассеивание снарядов при артиллерийской стрельбе. На траекторию снаряда действует большое количество независимых факторов, влияние каждого из которых невелико. Этими факторами являются отклонения в размере заряда, в размере и весе снаряда, сила и направле­ние ветра на разных высотах, плотность воздушных вихрей, зависящая от температуры и влажности воздуха, и т.д.

В результате отклонение снаряда от цели имеет приблизительно нормальный закон распределения.

Пример 2. Другими широко известным примером может служить ошибка возникшая при измерениях. Ошибка, как правило, является суммой малых ошибок возникающих из-за действия случайных факторов таких, как температура окружающей среды, состояние наблюдателя, состояние измерительного прибора и т.д.

Интегральная теорема Лапласа. Пусть X есть число наступлений собы­тия в п независимых опытах, в каждом из которых вероятность появления события равна .Тогда при достаточно больших n вероятность того, что событие появится от  до  раз равна

, где q=1-p, Ф(х) – функция Лапласа.

Эта теорема является следствием из, центральной предельной теоремы, хотя и была доказана гораздо раньше неё. В самом деле, число появлений события в n независимых опытах можно представить следующим образом

число успехов,

где  - число появлений события в i -м опыте, причём ранее было показано, что  и . Т.е. X является суммой большого числа независимых случайных величин  и . Условия центральной предельной теоремы выполнены, X имеет закон распределения близкий к

Если для этого закона распределения записать с помощью формулы (**) вероятность попадания случайной величины в интервал , то и получится утверждение теоремы (Муавра-Лапласа).

Пример 1. Вероятность выпуска изделия второго сорта равна 0,2. Изделия отправляют партиями по 100 штук. Какова вероятность того, что во взятой наугад партии содержится от 20 до 25 изделий второго сорта?

Имеем n=100, р=0.2, q=0.8

 

Законы распределения частоты события.

Рассмотрим частоту появления события в схеме n независимых опытов. Она может быть представлена через индикатор события I, рассмотренный в дискретных с.в.,в виде

,

т.е. является суммой большого числа независимых одинаково распределенных случайных величин , каждая из которых имеет дисперсию . По центральной предельной теореме частота события имеет закон, близкий к нормальному закону распределения, с параметрами

.

Итак, частота события   имеет закон распределения, близкий к нормальному N(p, ).   Используя формулу  (***), можно получить соотношение

P(=2.

 

 Закон больших чисел.

Как уже говорилось, закон больших чисел формулирует условия, при которых особенности каждого отдельного случайного явления почти не сказываются на среднем результате совокупности таких явлений. Наиболее яркой иллюстрацией проявления закона больших чисел является постоянство давления газа. Каждая молекула газа, двигаясь хаотично, в случайные моменты времени сталкивается со стенкой сосуда, в который газ заключен. Тем не менее, в виду большого числа молекул, давление газа, как суммарный итог соударений молекул газа со стенками сосуда, практически остаётся постоянным.

Доказательство ряда теорем, входящих в закон больших чисел, опирается на одно простое неравенство, которое мы сейчас выведем.

Неравенство Чебышева. Каково бы ни было положительное число a вероятность того, что случайная величина отклонится от своего ма­тематического ожидания не меньше, чем на a, ограничена сверху величиной , т.е.

Неравенство Чебышева можно записать в эквивалентной форме

так как события  и  противоположны.

Определение. Говорят, что последовательность случайных величин  сходится по вероятности к числу а, если при сколь угодно малом e>о  вероятность неравенства  с увеличением n, неограниченно приближается к единице, т.е.

Теорема Чебышева. Пусть наблюдается одна и та же случайная величина X с математическим ожиданием М(Х) и дисперсией . Обозначим через  результат первого наблюдения, второго наблюдения и т.д.

При увеличении числа независимых опытов n среднее арифметическое наблюдаемых значений случайной величины сходится по вероятности к ее математическому ожиданию, т.е.

Эта теорема обосновывает следующий способ определения математического ожидания случайной величины на основе опытных данных: нужно проделать достаточно много наблюдений случайной величины и вычислить среднее арифметическое наблюденных_ значений. Если число наблюдений велико, то почти достоверно, что,  мало отличается от математического ожидания наблюдаемой величины и  можно взять в качестве приближённого значения математического ожидания.

Обычно при измерении физических величин производят несколько измерений и в качестве значения измеряемой величины берут среднее арифметическое из результатов измерений. Обоснование такому способу действий даёт теорема Чебышева. Пусть мы измеряем некоторую физическую постоянную а. При измерении допускается некоторая ошибка X и мы фактически получаем при измерении значение а. + X. Если мы не делаем систематической ошибки, иначе говоря, если М(Х)=0, то М(а+Х)=М(а)+М(Х)=а. Значит, при достаточно большом числе измерений среднее арифметическое их результатов будет равно математическому ожиданию (по т. Чебышева) и как угодно близко к а с вероят­ностью как угодно близкой к единице. Таким образом, даже не точный прибор может обеспечить при указанном способе действий какую угодно точность. О способах эту точность оценить количественно см.

 

Теорема Бернулли.

Пусть производится h независимых опытов, в каждом из которых вероятность появления события А равна р. Частота появления события в этих h опытах  является случайной величиной с математическим ожиданием  и дисперсией .

Теорема Бернулли. При увеличении числа независимых опытов – частота события сходится по вероятности к вероятности этого события, т.е. для любого e>0

Доказательство. Запишем неравенство Чебышева , где  для случайной величины .

Так как p, q, e - постоянные, то , при . Поэтому

Но вероятность не может превосходить единицу, значит в этом соотношении неравенство следует заменить знаком равенства, что и приводит к утверждению теоремы.

Теорема Бернулли даёт обоснование статистическому определению вероятности.

 

Принцип практической уверенности

В человеческом мировоззрении отсутствует один важный элемент – мы не умеем проводить чёткую грань между тем, что может быть, и тем, чего быть не может. Например, можно ли прожить 500 лет? Нет. Но если можно прожить 150 лет, то почему нельзя прожить на один день больше? А если, можно, то почему нельзя прожить ещё на один день больше? и т.д. Чёткой границы между возможным и невозможным провести нельзя. В подобных ситуациях отчасти помогает понятие практически невозможного события.

Можно привести примеры событий, которые имеют ничтожно малую вероятность.

1. Например, можно научить обезьяну наугад скучать по клавишам пишущей машинки. Существует отличная от нуля вероятность того, что обезьяна случайно отпечатает текст романа "Война и мир". Эта вероятность равна приблизительно , где N – число букв в романе, а 1/50 – вероятность нажать в нужный момент на нужную клавишу (всего клавиш около 50).

2. Другой пример. Существует отличная от нуля вероятность при полёте на самолёте попасть в авиационную катастрофу.

3. В примере с возрастом можно считать длительность жизни человеке случайной величиной, значения которой больше 200 лет крайне маловероятны. Во всех приведённых примерах события имеют ничтожно малую вероятность и возможностью, появления таких событий мы и пренебрегаем. Но пренебрегать возможностью появления маловероятных событий можно не вообще, а только в определённых условиях.

Пусть вероятность появления события в одном опыте ничтожно мала и равна р. Тогда вероятность непоявления события равна 1-р=q, причём q<1, т.к. р всё же отлично от нуля.

т.к. q<1 и . Значит, если опытов производить много, то рано или поздно происходят даже самые маловероятные события, и возможностью появления маловероятных событий в большей серии опытов пренебрегать нельзя.

 В итоге получаем утверждение: Если вероятность события близка к нулю, то можно быть практически уверен­ным, что в единичном опыте оно не произойдёт. Событие, имеющее вероятность близкую к нулю, в единичном опыте можно считать практически невозможным. Насколько малой должна быть вероятность события, чтобы можно было считать это событие практически невозможным, зависит от того, насколько серьёзные последствия нам грозят, если событие, объявленное нами практически невозможным, все-таки произойдёт. Т.е. этот вопрос решается вне рамок теории вероятностей. Например, вероятность события равна 0,01. Если это вероятность попасть в авиационную катастрофу при полёте на самолёте, то вряд ли стоит пренебрегать такой вероятность. Если же это вероятность вытащить на экзамене не выученный билет, то такой вероятностью можно пренебречь (на деле пренебрегают и гораздо большими вероятностями).

Обратно. Если вероятность события близка к единице, то можно быть практически уверенным, что в единичном опыте оно произойдёт. Событие, имеющее вероятность близкую к единице, можно назвать в единичном опыте практически достоверным.

Насколько близкой к единице должна быть вероятность решается из тех же соображений, что и вопрос о малости вероятности прак­тически невозможного события.

Правило трёх сигм.

  Пусть X имеет закон распределения .

Оценим вероятность того, что эта случайная величина отклонится от своего математического ожидания не больше чем на три средних квадратических отклонения. По формуле (***)

т.е. отклонение больше 3s имеют вероятность 0,003. Во многих приложениях такой вероятностью можно пренебречь и утверждать, что при единичном наблюдении нормально распределённой случайной величины, интервалом практически возможных значений является интервал (m-3s,m+3s). Это утверждение называют "правилом трёх сигм".

Пример. Есть предположение, что только половина жителей города поддерживает некоторое мероприятие. Опросили наугад 900 чел. 499 из них высказались «за». Согласуется ли наше предположение с опытными данными?

Согласно предположению каждый житель ответит «да» с вероятностью р=1/2, п=900,  пр=450 – это математическое ожидание  m в схеме независимых испытаний,  =, 3.   Пусть  Х  -число поддерживающих мероприятие жителей. При большом числе испытаний биномиальный закон сколь угодно близок к нормальному закону и можно воспользоваться  «правилом трех сигм»:

(m-3=(450-45;450+45)=(405;495)  -  это интервал практически возможных значений с.в. Х, а 499 в него не входит, т.е. наше предположение не согласуется с опытными данными.