2. Закон больших чисел

Неравенство Чебышева справедливо для дискрет­ных и непрерывных случайных величин. Для простоты ограничимся доказательством этого неравенства для диск­ретных величин.

Рассмотрим дискретную случайную величину X, задан­ную таблицей распределения:

Поставим перед собой задачу оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине поло­жительного числа . Если  достаточно мало, то оце­ним, таким образом, вероятность того, что X примет значения, достаточно близкие к своему математическому ожиданию. П. Л. Чебышев доказал неравенство, позволяю­щее дать интересующую нас оценку.

Неравенство Чебышева. Вероятность того, что отклонение случайной величины X от ее математического ожидания по абсолютной величине меньше положитель­ного числа , не меньше, чем :

Доказательство. Так как события, состоящие в осуществлении неравенств и , противоположны, то сумма их вероятностей равна еди­нице, т. е.

Отсюда интересующая нас вероятность

(1.1)

Таким образом, задача сводится к вычислению вероят­ности .

Напишем выражение дисперсии случайной величины X:

Очевидно, все слагаемые этой суммы неотрицательны.

Отбросим те слагаемые, у которых (для оставшихся слагаемых ), вследствие чего сумма может только уменьшиться. Условимся счи­тать для определенности, что отброшено k первых сла­гаемых (не нарушая общности, можно считать, что в таб­лице распределения возможные значения занумерованы именно в таком порядке). Таким образом,

Заметим, что обе части неравенства положительны, поэтому, возведя их в квадрат, получим равносильное неравенство . Воспользуемся этим замечанием и, заменяя в оставшейся сумме каждый из множителей числом (при этом неравенство может лишь усилиться), получим

. (1.2)

По теореме сложения, сумма вероятностей есть вероятность того, что X примет одно, безразлично какое, из значений , а при любом из них отклонение удовлетворяет неравенству . Отсюда следует, что сумма выражает вероятность

Это соображение позволяет переписать неравенство (1.2) так:

или

. (1.3)

Подставляя (1.3) в (1.1), окончательно получим

что и требовалось доказать.

Замечание. Неравенство Чебышева имеет для практики огра­ниченное значение, поскольку часто дает грубую, а иногда и тривиальную (не представляющую интереса) оценку. Например, если и, следовательно, , то ; таким образом, в этом случае неравенство Чебышева указывает лишь на то, что вероятность отклонения неотрицательна, а это и без того очевидно, так как любая вероятность выражается неотрицательным числом.

Теорема Чебышева. Если — попарно независимые случайные величины, причем дисперсии их равномерно ограничены (не превышают постоян­ного числа С), то, как бы мало ни было положительное число , вероятность неравенства

будет как угодно близка к единице, если число случайных величин достаточно велико.

Другими словами, в условиях теоремы

Таким образом, теорема Чебышева утверждает, что если рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные ди­сперсии, то почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их ма­тематических ожиданий будет по абсолютной величине сколь угодно малым.

Доказательство. Введем в рассмотрение новую случайную величину - среднее арифметическое случайных величин

Найдем математическое ожидание . Пользуясь свойствами математического ожидания (постоянный множитель можно вынести за знак математического ожидания, математическое ожидание суммы равно сумме математи­ческих ожиданий слагаемых), получим

(1.4)

Применяя к величине неравенство Чебышева, имеем

или, учитывая соотношение (1.4),

(1.5)

Пользуясь свойствами дисперсии (постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат; дисперсия суммы независимых случайных ве­личин равна сумме дисперсий слагаемых), получим

По условию дисперсии всех случайных величин огра­ничены постоянным числом С, т. е. имеют место нера­венства: , поэтому

Итак,

(1.6)

Подставляя правую часть (1.6) в неравенство (1.5) (отчего последнее может быть лишь усилено), имеем

Отсюда, переходя к пределу при , получим

Наконец, учитывая, что вероятность не может пре­вышать единицу, окончательно можем написать

Теорема доказана.

Выше, формулируя теорему Чебышева, мы предпола­гали, что случайные величины имеют различные матема­тические ожидания. На практике часто бывает, что слу­чайные величины имеют одно и то же математическое ожидание. Очевидно, что если вновь допустить, что диспер­сии этих величин ограничены, то к ним будет применима теорема Чебышева.

Обозначим математическое ожидание каждой из слу­чайных величин через а; в рассматриваемом случае среднее арифметическое математических ожиданий, как легко видеть, также равно а. Мы можем сформулировать тео­рему Чебышева для рассматриваемого частного случая.

Если - попарно независимые случайные величины, имеющие одно и то же математическое ожидание а, и если дисперсии этих величин равномерно ограничены, то, как бы мало ни было число , ве­роятность неравенства

будет как угодно близка к единице, если число случай­ных величин достаточно велико.

Другими словами, в условиях теоремы будет иметь место равенство

Сущность доказанной теоремы такова: хотя от­дельные независимые случайные величины могут прини­мать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случай­ных величин с большой вероятностью принимает значе­ния, близкие к определенному постоянному числу, а именно к числу (или к числу а в частном случае). Иными словами, отдельные случайные величины могут иметь значительный разброс, а их среднее арифметическое рассеянно мало.

Таким образом, нельзя уверенно предсказать, какое возможное значение примет каждая из случайных вели­чин, но можно предвидеть, какое значение примет их среднее арифметическое.

Итак, среднее арифметическое достаточно большого числа независимых случайных величин (дисперсии которых равномерно ограничены) утрачивает характер случайной величины. Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются.

Теорема Чебышева справедлива не только для дискрет­ных, но и для непрерывных случайных величин; она является ярким примером, подтверждающим справедливость учения диалектического материализма о связи между случайностью и необходимостью.

Пусть производится независимых испытаний, в каждом из которых вероятность появления события А равна р. Можно ли предвидеть, какова примерно будет относительная частота появлений события? Положитель­ный ответ на этот вопрос дает теорема, доказанная Яко­бом Бернулли (опубликована в 1713 г.), которая полу­чила название «закона больших чисел» и положила начало теории вероятностей как науке. Доказательство Бернулли было сложным; простое доказательство дано П. Л. Чебышевым в 1846 г.

Теорема Бернулли. Если в каждом из n независимых испытаний вероятность p появления события A постоянна, то как угодно близка к единице вероятность того что отклонение относительной частоты от вероятности р по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико.

Другими словами, если  - сколь угодно малое поло­жительное число, то при соблюдении условий теоремы имеет место равенство

Доказательство. Обозначим через X₁ дискретную чайную величину - число появлений события в первом испытании, через X₂ во втором, ...., X_n - в n-м испытании. Ясно, что каждая из величин может принять лишь два значения: 1 (событие А наступило) с вероятностью р и 0 (событие не появилось) с вероятностью 1-p=q.

Теорему Чебышева можно применить к рассматриваемым величинам, если случайные величины по­парно независимы и дисперсии их ограничены. Оба условия выполняются. Действительно, попарная независимость величин следует из того, что испытания независимы. Дисперсия любой величины равна произведению pq; так как , то произведение pq не превышает 1/4 и, следовательно, дисперсии всех величин ограничены, например, числом С = 1/4.

Применяя теорему Чебышева (частный случай) к рассматриваемым величинам, имеем

Приняв во внимание, что математическое ожидание а каждой из величин (т. е. математически ожидание числа появлений события в одном испытании) равно ве­роятности р наступления события, получим

Остается показать, что дробь равна относительной частоте появлений события А в испытаниях. Действительно, каждая из величин при появлении события в соответствующем испытании принимает значение, равное единице; следователю, сумма равна числу m по­явлений события в n испытаниях, а значит,

Учитывая это равенство, окончательно получим

Замечание. Было бы неправильным на основании теоремы Бернулли сделать вывод, что с ростом числа испытаний относитель­ная частота неуклонно стремится к вероятности р; другими словами, из теоремы Бернулли не вытекает равенство . В теореме речь идет лишь о вероятности того, что при достаточно большом числе испытаний относительная частота будет как угодно мало отличаться от постоянной вероятности появления события в каж­дом испытании.

Таким образом, сходимость относительной частоты к веро­ятности р отличается от сходимости в смысле обычного анализа. Для того чтобы подчеркнуть это различие, вводят понятие «сходимости по вероятности». Точнее, различие между указанными видами сходимости состоит в следующем: если стремится при к р как пределу в смысле обычного анализа, то начиная с некоторого n = N и для всех последующих значений неуклонно выпол­няется неравенство ; если же стремится по веро­ятности к р при , то для отдельных значений неравенство может не выполняться.

Итак, теорема Бернулли утверждает, что при относи­тельная частота стремится по вероятности к р. Коротко теорему Бернулли записывают так:

Таким образом, теорема Бернулли объясняет, почему относительная частота при достаточно большом числе испытаний обладает свойством устойчивости и оправдывает статистическое определение вероятности.