Закон больших чисел

Слова о больших числах относятся к числу испытаний – рассматривается большое число значений случайной величины или совокупное действие большого числа случайных величин. Суть этого закона состоит в следующем: хотя невозможно предсказать, какое значение в единичном эксперименте примет отдельная случайная величина, однако, суммарный результат действия большого числа независимых случайных величин утрачивает случайный характер и может быть предсказан практически достоверно (т.е. с большой вероятностью). Например, невозможно предсказать, какой стороной упадет одна монета. Однако если подбросить 2 тонны монет, то с большой уверенностью можно утверждать, что вес монет, упавших гербом вверх, равен 1 тонне.

К закону больших чисел прежде всего относится так называемое неравенство Чебышева, которое оценивает в отдельном испытании вероятность принятия случайной величиной значения, уклоняющееся от среднего значения не более, чем на заданное значение.

Неравенство Чебышева. Пусть Х – произвольная случайная величина, а=М(Х), а D(X) – ее дисперсия. Тогда

.

Пример. Номинальное (т.е. требуемое) значение диаметра вытачиваемой на станке втулки равно 5мм , а дисперсия не более 0.01 (таков допуск точности станка). Оценить вероятность того, что при изготовлении одной втулки отклонение ее диаметра от номинального окажется менее 0.5мм .

Решение. Пусть с.в. Х – диаметр изготовленной втулки. По условию ее математическое ожидание равно номинальному диаметру (если нет систематического сбоя в настройке станка) : а=М(Х)=5 , а дисперсия D(Х)≤0.01. Применяя неравенство Чебышева при ε = 0.5, получим:

.

Таким образом, вероятность такого отклонения достаточно велика, а потому можно сделать вывод о том, что при единичном изготовлении детали практически наверняка отклонение диаметра от номинального не превзойдет 0.5мм .

По своему смыслу среднее квадратическое отклонение σ характеризует среднее отклонение случайной величины от своего центра (т.е. от своего математического ожидания). Поскольку это среднее отклонение, то при испытании возможны и большие (ударение на о) отклонения. Насколько же большие отклонения практически возможны? При изучении нормально распределенных случайных величин мы вывели правило «трех сигм»: нормально распределенная случайная величина Х при единичном испытании практически не отклоняется от своего среднего далее, чем на 3σ, где σ= σ(Х) – среднее квадратическое отклонение с.в. Х. Такое правило мы вывели из того, что получили неравенство

.

Оценим теперь вероятность для произвольной случайной величины Х принять значение, отличающееся от среднего не более чем на утроенное среднее квадратическое отклонение. Применяя неравенство Чебышева при ε =3σ и учитывая, что D(Х)= σ², получаем:

.

Таким образом, в общем случае вероятность отклонения случайной величины от своего среднего не более чем на три средних квадратичных отклонения мы можем оценить числом 0.89, в то время как для именно нормального распределения можно гарантировать это с вероятностью 0.997 .

Неравенство Чебышева может быть обобщено на систему независимых одинаково распределенных случайных величин.

Обобщенное неравенство Чебышева. Если независимые случайные величины Х₁, Х₂, … , Х_n имеют одинаковое распределение с математическими ожиданиями M(X_i)=a и дисперсиями D(X_i)=D, то

.

При n=1 это неравенство переходит в неравенство Чебышева, сформулированное выше.

Неравенство Чебышева, имея самостоятельное значение для решения соответствующих задач, применяется для доказательства так называемой теоремы Чебышева. Мы с начала расскажем о сути этой теоремы, а затем дадим ее формальную формулировку.

Пусть Х₁, Х₂, … , Х_n – большое число независимых случайных величин с математическими ожиданиями М(Х₁)=а₁, … , М(Х_n)=а_n . Хотя каждая из них в результате эксперимента может принять значение, далекое от своего среднего (т.е. математического ожидания), однако, случайная величина , равная их среднему арифметическому, с большой вероятностью примет значение, близкое к фиксированному числу(это среднее всех математических ожиданий). Это означает следующее. Пусть в результате испытания независимые случайные величиныХ₁, Х₂, … , Х_n (их много!) приняли значения соответственно х₁, х₂, … , х_n соответственно. Тогда если сами эти значения могут оказаться далекими от средних значений соответствующих случайных величин, их среднее значение с большой вероятностью окажется близким к числу. Таким образом, среднее арифметическое большого числа случайных величин уже теряет случайный характер и может быть предсказано с большой точностью. Это можно объяснить тем, что случайные отклонения значенийХ_i от a_i могут быть разных знаков, а потому в в сумме эти отклонения с большой вероятностью компенсируются.

Терема Чебышева (закон больших чисел в форме Чебышева). Пусть Х₁, Х₂, … , Х_n … – последовательность попарно независимых случайных величин, дисперсии которых ограничены одним и тем же числом. Тогда, какое бы малое число ε мы ни взяли, вероятность неравенства

будет как угодно близка к единице, если число n случайных величин взять достаточно большим. Формально это означает, что в условиях теоремы

.

Такой вид сходимости называется сходимостью по вероятности и обозначается:

.

Таким образом, теорема Чебышева говорит о том, что если есть достаточно большое число независимых случайных величин, то их среднее арифметическое при единичным испытании практически достоверно примет значение, близкое к среднему их математических ожиданий.

Чаще всего теорема Чебышева применяется в ситуации, когда случайные величины Х₁, Х₂, … , Х_n … имеют одинаковое распределение (т.е. один и тот же закон распределения или одну и ту же плотность вероятности). Фактически это просто большое число экземпляров одной и той же случайной величины.

Следствие (обобщенного неравенства Чебышева). Если независимые случайные величины Х₁, Х₂, … , Х_n … имеют одинаковое распределение с математическими ожиданиями M(X_i)=a и дисперсиями D(X_i)=D, то

, т.е. .

Доказательство следует из обобщенного неравенства Чебышева переходом к пределу при n→∞ .

Отметим еще раз, что выписанные выше равенства не гарантируют, что значение величины стремится ка при n→∞. Эта величина по-прежнему остается случайной величиной, а ее отдельные значения могут быть достаточно далекими от а. Но вероятность таких (далеких от а) значений с ростом n стремится к 0.

Замечание. Заключение следствия, очевидно, справедливо и в более общем случае, когда независимые случайные величины Х₁, Х₂, … , Х_n … имеют различное распределение, но одинаковые математические ожидания (равные а) и ограниченные в совокупности дисперсии. Это позволяет предсказывать точность измерения некоторой величины, даже если эти измерения выполнены разными приборами.

Рассмотрим подробнее применение этого следствия при измерении величин. Проведем некоторым прибором n измерений одной и той же величины, истинное значение которой равно а и нам неизвестно. Результаты таких измерений х₁, х₂, … , х_n могут значительно отличаться друг от друга (и от истинного значения а) в силу различных случайных факторов (перепады давления, температуры, случайная вибрация и т.д.). Рассмотрим с.в. Х – показание прибора при единичном измерении величины, а также набор с.в. Х₁, Х₂, … , Х_n – показание прибора при первом, втором, …, последнем измерении. Таким образом, каждая из величин Х₁, Х₂, … , Х_n есть просто один из экземпляров с.в. Х, а потому все они имеют то же самое распределение, что и с.в. Х. Поскольку результаты измерений не зависят друг от друга, то с.в. Х₁, Х₂, … , Х_n можно считать независимыми. Если прибор не дает систематической ошибки (например, не «сбит» ноль на шкале , не растянута пружина и т.п.), то можно считать, что математическое ожидание М(Х) = а , а потому и М(Х₁) = ... = М(Х_n) = а. Таким образом, выполняются условия приведенного выше следствия, а потому в качестве приближенного значения величины а можно взять «реализацию» случайной величины в нашем эксперименте (заключающемся в проведении серии изn измерений), т.е.

.

При большом числе измерений практически достоверна хорошая точность вычисления по этой формуле. Это является обоснованием того практического принципа, что при большом числе измерений их среднее арифметическое практически почти не отличается от истинного значения измеряемой величины.

На законе больших чисел основан широко применяемый в математической статистике «выборочный» метод, который позволяет по сравнительно небольшой выборке значений случайной величины получать ее объективные характеристики с приемлемой точностью. Но об этом будет рассказано в следующем разделе.

Пример. На измерительном приборе, не делающем систематических искажений, измерена некоторая величина а один раз (получено значение х₁), а потом еще 99 раз (получены значения х₂, … , х₁₀₀). За истинное значение измерения а сначала взят результат первого измерения , а затем среднее арифметическое всех измерений. Точность измерения прибора такова, что среднее квадратическое отклонение измерения σ не более 1 (потому дисперсияD=σ² тоже не превосходит 1). Для каждого из способов измерения оценить вероятность, что ошибка измерения не превзойдет 2.

Решение. Пусть с.в. Х – показание прибора при единичном измерении. Тогда по условию М(Х)=а. Для ответа на поставленные вопросы применим обобщенное неравенство Чебышева

при ε=2 сначала для n=1, а затем для n=100. В первом случае получим , а во втором. Таким образом, второй случай практически гарантирует задаваемую точность измерения, тогда как первый оставляет в этом смысле большие сомнения.

Применим приведенные выше утверждения к случайным величинам, возникающим в схеме Бернулли. Напомним суть этой схемы. Пусть производится n независимых испытаний, в каждом из которых некоторое событие А может появиться с одной и той же вероятностью р, а q=1–р (по смыслу это вероятность противоположного события – не появления события А) . Проведем некоторое число n таких испытаний. Рассмотрим случайные величины: Х₁ – число появлений события А в 1-ом испытании, …, Х_n – число появлений события А в n-ом испытании . Все введенные с.в. могут принимать значения 0 или 1 (событие А в испытании может появиться или нет), причем значение 1 по условию принимается в каждом испытании с вероятностью p (вероятность появления события А в каждом испытании), а значение 0 с вероятностью q=1– p . Поэтому эти величины имеют одинаковые законы распределения:

Х1	0	1
Р	q	р

Хn	0	1
Р	q	р

, … ,

Поэтому средние значения этих величин и их дисперсии тоже одинаковы: М(Х₁)=0∙q+1∙ р= р , …, М(Х_n)= р ; D(X₁)=(0²∙q+1²∙p)−p²=p∙(1−p)= p ∙q, … , D(X_n)=p ∙q . Подставляя эти значения в обобщенное неравенство Чебышева, получим

.

Ясно, что с.в. Х=Х₁+…+Х_n – это число появлений события А во всех n испытаниях (как говорят – «число успехов» в n испытаниях). Пусть в проведенных n испытаниях событие А появилось в k из них. Тогда предыдущее неравенство может быть записано в виде

.

Но величина , равная отношению числа появлений событияА в n независимых испытаниях, к общему числу испытаний , ранее была названа относительной частотой события А в n испытаниях . Поэтому имеет место неравенство

.

Переходя теперь к пределу при n→∞, получим , т.е.(по вероятности). Это составляет содержание закона больших чисел в форме Бернулли. Из него следует, что при достаточно большом числе испытанийn сколь угодно малые отклонения относительной частоты события от его вероятностир − почти достоверные события, а большие отклонения − почти невозможные. Полученный вывод о такой устойчивости относительных частот (о которой мы ранее говорили как об экспериментальном факте) оправдывает введенное ранее статистическое определение вероятности события как числа, около которого колеблется относительная частота события.

Учитывая, что выражение p∙q=p∙(1−p)=p−p² не превосходит на интервале изменения(в этом легко убедиться, найдя минимум этой функции на этом отрезке), из приведенного выше неравенствалегко получить, что

,

которое применяется при решении соответствующих задач (одна из них будет приведена ниже).

Пример. Монету подбросили 1000 раз. Оценить вероятность того, что отклонение относительной частоты появления герба от его вероятности будет меньше 0.1.

Решение. Применяя неравенство приp=q=1/2, n=1000, ε=0.1, получим .

Пример. Оценить вероятность того, что в условиях предыдущего примера число k выпавших гербов окажется в пределах от 400 до 600.

Решение. Условие 400<k<600 означает, что 400/1000<k/n<600/1000, т.е. 0.4<W_n(A)<0.6 или . Как мы только что убедились из предыдущего примера, вероятность такого события не менее0.975.

Пример. Для вычисления вероятности некоторого события А проведено 1000 экспериментов, в которых событие А появилось 300 раз. Оценить вероятность того, что относительная частота (равная 300/1000=0.3) отстоит от истиной вероятности р не далее, чем на 0.1 .

Решение. Применяя выписанное выше неравенство дляn=1000, ε=0.1 , получим .

79