Курс статистики / Модуль 1. Лекции / Тема 2. Последовательность независимых испытаний

Тема 2.

Последовательность независимых испытаний

Повторные независимые испытания. Схема Бернулли.

Формула Бернулли

Предельные теоремы для схемы Бернулли:

Локальная теорема Муавра-Лапласа. Функция Гаусса

Интегральная теорема Муавра-Лапласа. Функция Лапласа

Теорема Пуассона

Повторные независимые испытания. Схема Бернулли. Формула Бернулли.

Из книги В.Феллера «Введение в теорию вероятностей и ее приложения», т.1, глава VI, §1 «Испытания Бернулли»

Рассмотрим случай многократного повторения одного и того же испытания или случайного эксперимента. Результат каждого испытания будем считать не зависящим от того, какой результат наступил в предыдущих испытаниях. В качестве результатов или элементарных исходов каждого отдельного испытания будем различать лишь две возможности:

1) появление некоторого события А (успех);

2) появление события , (события, являющегося дополнением А, неудача))

Пусть вероятность P(A) появления события А постоянна и равна p (0p1). Вероятность P() события обозначим через q: P() = 1- p=q.

Примерами таких испытаний могут быть:

1) подбрасывание монеты: А - выпадение герба; - выпадение решетки

P(A) = P() = 0,5.

2) бросание игральной кости: А - выпадение количества очков, равного пяти, выпадение любого количества очков кроме пяти.

P(A) =1/6, P() =5/6.

3) извлечение наудачу из урны, содержащей 7 белых и 3 черных шара, одного шара (с возвращением): А - извлечение белого шара, - извлечение черного шара

P(A) = 0,7; P() = 0,3

Замечание. Термины «Успех» и «неудача» несколько отличаются по смыслу от «бытового» смысла этих понятий. «Успех» означает лишь, что нечто произошло, но в общеупотребительном смысле это может быть совсем не радостным событием (скажем, авария, выявление тяжелого заболевания, травмы и т.д.)

Замечание. Традиционно успех, помимо буквы «У», обозначают 1,а неудачу – 0. Поэтому последовательности из успехов и неудач – реализацию испытаний конкретной схемы Бернулли – можно уподобить последовательность из нулей и единиц.

Таким образом, элементарным событием (исходом) в схеме Бернулли из n испытаний будет последовательность из n нулей или единиц (успехов или неудач). Например, при трехкратном подбрасывании кубика, когда успехом является, например, выпадение 6, (а неудачей, соответственно, выпадение любого числа от 1 до 5, но не 6), элементарными исходами будут тройки из нулей и единиц от (1,1,1) до (0,0,0).

Пусть произведено n испытаний, которые мы будем рассматривать как один сложный случайный эксперимент. Составим таблицу из n клеток, расположенных в ряд, пронумеруем клетки, и результат каждого испытания будем отмечать так: если в i-м испытании событие А произошло, то в i-ю клетку ставим цифру 1, если событие А не произошло (произошло событие), в i-ю клетку ставим 0.

Если, например, проведено 5 испытаний, и событие А произошло лишь во 2 -м и 5-м испытаниях, то результат можно записать такой последовательностью нулей и единиц: 0; 1; 0; 0; 1.

Каждому возможному результату n испытаний будет соответствовать последовательность n цифр 1 или 0, чередующихся в том порядке, в котором появляются события A и в n испытаниях, например:

1; 1; 0; 1; 0; 1; 0; 0; ... 0; 1; 1; 0

Всего таких последовательностей можно составить (согласно правилу произведения и определению независимых событий).

Так как испытания независимы, то вероятность P каждого такого результата определяется путем перемножения вероятностей событий A и в соответствующих испытаниях. Так, например, для написанного выше результата найдем

P = ppqpqpqq...qppq

Если в написанной нами последовательности единица встречается х раз (это значит, что нуль встречается n-x раз), то вероятность соответствующего результата будет pⁿq^n-x независимо от того, в каком порядке чередуются эти x единиц и n-x нулей.

Замечание. Рассмотрим случай, когда некто подкидывает монетку и, в зависимости от результата, записывает 1 (выпал Герб) или 0 (выпала решетка). Через некоторое время у него появляется вереница из 0 и 1. Возникает вопрос, а в каком случае данная последовательность будет случайной? Будет ли таковой, скажем, последовательность 01010101010101010101 , 01001000100010000010 или 10000000000000000000? Ответ на этот вопрос, к сожалению, выходит за рамки данного курса, но интригующе интересен и имеет непосредственное отношение к теории алгоритмов и теории сложности. Для начала можно адресовать заинтересовавшихся к лекции В.А.Успенского «Четыре алгоритмических лица случайности» (Изд. МЦНМО, 2006). Приведем лишь короткую цитату из нее:

«Составленная из нулей и единиц цепочка 100010111011110100000111 выглядит более случайной, чем цепочка 010101010101010101010101. Возможно ли разделить все цепочки нулей и единиц на случайный и не случайные? Для конечных цепочек эта задача вряд ли осуществима. Однако можно пытаться решать её для бесконечных цепочек, т.е. для последовательностей. Иными словами, можно пытаться найти строгое математическое определение для понятия "случайная последовательностей нулей и единиц". Традиционная теория вероятностей не только не приближается к решению этой задачи, но даже не может её сформулировать в своих терминах. На помощь приходит теория алгоритмов. Может показаться парадоксальным, что понятие случайности уточняется на основе такого чуждого случайности понятия, как алгоритм, - тем не менее, это так: все известные до сих пор определения случайности индивидуального объекта (в нашем примере - индивидуальной последовательности нулей и единиц) опираются на понятие алгоритма. Чтобы найти требуемое определение, поступают так. Формулируют некое характеристическое свойство, которым обладают случайные (в неформальном, интуитивном смысле) последовательности. А затем последовательности, обладающие этим свойством, и объявляют, по определению, случайными. Какими же свойствами обладает случайная последовательность нулей и единиц?

1. Во-первых, она частотноустойчива. Вот что это означает для того простейшего случая, когда нули и единицы равновероятны - а только такой случай мы и будем рассматривать: частота нулей, как и частота единиц, стремится к одной второй. При этом указанная устойчивость частот выполняется не только для последовательности в целом, но и для любой её законной, разумной подпоследовательности.

2. Во-вторых, она хаотична. Это означает, что чередование нулей и единиц не может быть описано никаким разумным правилом.

3. В-третьих, она типична. Это означает, что она принадлежит любому разумному большинству.

4. В-четвёртых, она непредсказуема. Это означает, что играя против неё на деньги (то есть пытаясь угадать члены последовательности и делая ставки), последовательность невозможно обыграть, какой бы разумной стратегией не пользоваться.

Слово "разумный", встречающееся в описаниях перечисленных четырёх свойств, разумеется, нуждается в уточнении. Теория алгоритмов как раз и предлагает такие уточнения, наполняя это слово точным смыслом - своим для каждого из наших четырёх свойств. Тем самым возникают четыре алгоритмических свойства: частотная устойчивость, хаотичность, типичность, непредсказуемость. Каждое из них представляет своё собственное алгоритмическое лицо случайности, и каждое из них с большими или меньшими основаниями может претендовать на роль строгого математического определения для понятия случайности. Можно сказать и так: возникают четыре точно очерченных класса последовательностей, каждый из которых претендует на то, чтобы служить истинным классом случайных последовательностей; некоторые из этих претензий более оправданы, чем другие».

Замечание. Пусть у нас есть схема испытаний Бернулли, в каждом из которых происходит (Успех, У) или не происходит (Неудача, Н) некоторое событие А. Вероятность и того и другого постоянна и не зависит от номера испытания. Мы может теперь интересоваться различными вопросами, связанными не только с распределением успехов и неудач внутри серии, но и с их количеством.

Таковы например вопросы:

- о вероятности ровно m успехов в серии из n испытаний,

- о вероятности принадлежности числа успехов m промежутку от m₁ до m₂ ,

- о вероятности ровно m неудач до первого успеха и др.

Все события, заключающиеся в том, что в n испытаниях событие A произошло x раз, а событие произошло n-x раз, являются несовместными. Поэтому для вычисления вероятности объединения этих событий (или суммы этих событий), нужно сложить вероятности всех этих событий, каждая из которых равна pⁿq^n-x . Всего таких событий можно насчитать столько, сколько можно образовать различных последовательностей длины n, содержащих x цифр "1" и n-x цифр "0". Таких последовательностей получается столько, сколькими способами можно разместить x цифр "1" (или n-x цифр "0") на n местах, то есть число этих последовательностей равно

Обозначение. P_n(x) – вероятность того, что в схеме Бернулли, состоящей из n испытаний, произошло ровно х успехов.

Отсюда получается формула Бернулли:

P_n(x) =

По формуле Бернулли рассчитывается вероятность появления события A "x"раз в n повторных независимых испытаниях, где p - вероятность появления события A в одном испытании (успе ха), q - вероятность появления события в одном испытании (неудачи) , p+q=1.

Замечание. Очевидно, что формулу Бернулли удобно использовать для относительно небольшого числа испытаний. При большом n вчисления становятся затруднительными.

Определение. Сформулированные условия проведения испытаний иногда называются "схемой повторных независимых испытаний" или "схемой Бернулли". Итак, последовательность испытаний называется схемой Бернулли, если:

1. испытания независимы

2. в каждом испытании возможны только 2 исхода – успех (некоторое событие А происходит) и неудача (событие А не происходит)

3. вероятность успехов и неудач в каждом испытании постоянна. Вероятность успеха обозначается p, вероятность неудачи – q, а p+q = 1

Пример. Самым простым примером схемы Бернулли является многократное подбрасывание монеты, где за успех принято выпадение «герба» или «решетки».

Пример. Из урны, содержащей 2 белых и 6 черных шаров наудачу выбирается с возвращением 5 раз подряд один шар. Подсчитать вероятность того, что 4 раза появится белый шар.

В приведенных выше обозначениях n=8; p=1/4; q=3/4; x=5. Искомую вероятность вычисляем по формуле Бернулли:

По формуле Бернулли можно подсчитать вероятности всех возможных частот: x=0,1,2,3,4,5.

Формула Бернулли при заданных числах p и n позволяет рассчитывать вероятность любой частоты x (0  x  n). Возникает естественный вопрос: какой частоте будет соответствовать наибольшая вероятность?

Предположим, что такая частота существует, и попытаемся ее определить из условия, что вероятность этой частоты не меньше вероятности "предыдущей" и "последующей" частот:

P_n(x)  P_n (x-1);

P_n(x)  P_n (x+1)

Первое неравенство представляется в виде:

,

что эквивалентно или . Отсюда следует:

Решая второе неравенство, получим

Таким образом, частота, имеющая наибольшую вероятность (чем вероятнейшая частота), определяется двойным неравенством

Если np + p – целое число (тогда и np – q – целое число), то две частоты: x=np – q и x=np + p обладают наибольшей вероятностью. Например, при , наивероятнейшие частоты: x = 3; x = 4.

Асимптотические формулы для формулы Бернулли.

Предельные теоремы в схеме Бернулли.

Итак, мы рассматривает вопрос о вероятности некоторого числа успехов в серии испытаний Бернулли заданной длины. Для нахождения этой вероятности мы используем формулу Бернулли. Рассмотрим теперь такую задачу:

Вероятность появления события А в каждом из 900 независимых испытаний равна р = 0,8. Найти вероятность того, что событие А про изойдет: а) 750 раз; б) Число успехов будет в промежутке от 700 до 750 раз. Очевидно, что использование формулы Бернулли здесь затруднительно.

Трудности возрастают, когда приходится суммировать вероятности для ответа на второй вопрос.

В отдельных случаях при больших n удается заменить формулу Бернулли приближенными формулами. Такие формулы, которые получаются при условии , называются, асимптотическими. Соответствующие утверждения называют Предельными теоремами в схеме Бернулли. Мы рассмотрим три таких теоремы: Локальную и интегральную теоремы Муавра-Лапласа и теорему Пуассона.

Замечание. Теоремы, которые теперь носят имя Муавра и Лапласа были доказаны этими учеными независимо, А.де Муавр доказал эти утверждения несколько раньше, но его результаты оставались неизвестными и были обнародованы относительно недавно. Поэтому в разных учебниках эти теоремы могут называться теоремами Лапласа, Муавра-Лапласа, Муавра или просто предельными теоремами в схеме Бернулли.

Локальная терема Муавра-Лапласа.

1)Теорема применяется при достаточно большом числе испытаний. Чем больше n, тем лучше формула теоремы приближает формулу Бернулли.

2)p и q постоянны в каждом испытании

3)успехов достаточно много, их число растет с ростом n, их вероятность достаточна велика, чем ближе вероятность успеха к ½ , тем лучше приближение к формуле Бернулли

Итак, при выполнении указанных условий вероятность того, что в n испытаниях окажется ровно х успехов приблизительно равно

, где , а φ (t) – функция Гаусса.

Здесь: n – число испытаний, х – число успехов

np - (статистически) среднее значение числа появлений х события А при n испытаниях, x–np – соответствующее отклонение

корень из npq – масштабирующий множитель, t – отклонение числа появлений события А от его среднего значения, измеренное в этом масштабе.

Сделаем небольшое отступление и рассмотрим отдельно функцию Гаусса (ее иногда называют локальной функцией Лапласа)

φ (t) = .

Эта функция обладает следующими свойствами:

1. Функция Гаусса четная, т.е.φ(x)=φ(-x) и ее график, соответственно, симметричен относительно оси y.

2. С ростом (убыванием) х, функция достаточно быстро стремится к нулю. Уже при х=±3,99, φ(х) = 0,0001. При х >4 функция считается равной 0.

3. Для значений функции Гаусса существуют таблицы. Ввиду четности функции они составлены только для положительных значений аргумента..

Итак, чтобы определить вероятность того, что в 50 испытаниях по схеме Бернулли при p=0.45 событие А наступило 30 раз, нужно воспользоваться таблицей значений функции Гаусса, предварительно вычислив значение аргумента t по формуле

Пример. Вероятность поражения стрелком цели при одиночном выстреле р=0,2. Какова вероятность того, что при 100 выстрелах цель будет поражена ровно 20 раз?

Здесь p=0,2, q = 0,8, n = 100, x= 20, npq = 16

= (20-1000,2)4 = 0

(0)  0,4 (точное табличное значение 0,3989)

Р₁₀₀ (20)  0,4  ¼ = 0,1

Значение вероятности оказывается маленьким, ведь попадание точно 20 раз при 100 выстрелах – событие достаточно редкое. А попадание «около 20 раз» - будет почти достоверным событием. Так, например, 15 х 25, включающего 11 значений близка к 1 (можно проверить по формуле Бернулли для суммы по х от 15 до 25 Р₁₀₀ (x)

То есть верно Замечание. Значение конкретной вероятности P_n (x) достаточно мало. Значительно больше оказывается вероятность «около х» успехов, то есть числа успехов, принадлежащего некому промежутку, содержащему х.

Замечание. Так как при | t| ∞ (t) монотонно убывает, для одной и той же серии испытаний (n фиксировано) большие отклонения х – np менее вероятны чем меньшие. Это верно для достаточно больших n.

Теперь, допустим, мы хотим оценить вероятность того, что число успехов попадет в промежуток от m₁ до m₂ . Для этого сформулируем

Интегральную теорему Муавра-Лапласа.

Если:

1. Число испытаний n велико

2. Оценивается вероятность Р(m₁ ,m₂ ) попадания числа успехов х в промежуток от m₁ до m_2..

3. m₁ и m₂ растут с ростом n

4. вероятность успеха постоянна

Тогда выполняется

а

(функция Гаусса)

Иначе говоря, Р(m₁ ,m₂ ) = Ф₀(t_m2 ) – Ф₀(t_m1 ), где

- функция Лапласа.

Сделаем отступление и рассмотрим теперь функцию Лапласа отдельно.

Сформулируем свойства функции Лапласа:

1. Функция Лапласа нечетная, т.е. Φ(–t) = –Φ(t) и, соответственно, ее график симметричен относительно начала координат

2. Монотонно возрастающая

3. При х→∞ Φ→1/2, при x→ – ∞ Φ→ –1/2 , причем достаточно быстро: при х=5 Ф = 0,4(9). Поэтому при х >4 функция считается (приблизительно) равной ½

4. Существуют таблицы значений функции Лапласа, ввиду нечетности функции они составлены только для положительных значений х. Для того, чтобы воспользоваться табличными значениями функции Лапласа сначала необходимо вычислить значения аргументов

а затем найти по таблице значений функции Лапласа ее значения в этих точках.

Графиком функции Лапласа является кривая:

Пример. Игральную кость бросают 800 раз. Какова вероятность того, что число очков, кратное 3, выпадает не менее 280 и не более 294 раз?

Здесь

Пусть теперь в последовательности наших испытаний n достаточно велико, а p - величина очень малая и успехи редки. Тогда имеет место

Теорема Пуассона.

Асимптотическое представление P_n (x) через (х) тем хуже, чем больше р отличается от ½ , а для случая p=0, q=1 вообще неприменимо. Однако большой круг задач связан именно с отысканием P_n (x) именно при малых значениях р.Для того, чтобы в этом случае теорема Муавра-Лапласа дала небольшую погрешность необходимо очень большое n, Поэтому требуется специальная формула, предназначенная специально для малых р, которая и приводится в теореме Пуассона:

Если

1. Число испытаний n велико

2. Мы интересуемся вероятностью P_n (x) числа успехов х в серии из n испытаний

3. р уменьшается с ростом n, т.е λ = np – константа(постоянная), т.е, рассматривается случай редких успехов.

Тогда выполняется

Замечание. Для указанной величины P_n (x) – функции Пуассона - также существуют таблицы.

Пример. Вероятность искажения одного символа при передаче сообщения по линии связи равна 0,001. Сообщение считают принятым, если в нем отсутствуют искажения. Найти вероятность того, что будет принято сообщение, состоящее из 20 слов по 100 символов каждое.

Предлагаемое сообщение содержит 2000 символов. Предполагая, что символы искажаются независимо, получаем схему Бернулли, в которой n=2000, p=0,001, x=0. λ = np=2. Тогда Р ₂₀₀₀(0) = 0,13534 (0! = 1)

Пример. Вероятность попадания в цель при каждом выстреле 0,001. Найти вероятность попадания в цель двумя и более выстрелами, если производится 5000 выстрелов.

Искомая вероятность равна 1 - Р ₅₀₀₀(0) - Р ₅₀₀₀(1) 1 – е^-5 – 5е^-5  0,9596