tjurin_teorija_verojatn_978-5-94057-540-5_1

на, и время от времени такое с кем-то случается. (В обычной жизни больших денег не получишь, и даже надежды на это нет.)

Еще одно поучение: если вы регулярно совершаете рискованные поступки, то рано или поздно это принесет вам неприятности. Закон больших чисел «позаботится» об этом.

§2. Закон больших чисел и статистика

Вэтом параграфе мы обсудим некоторые связи теории вероятностей с родственной ей наукой статистикой. Статистикой сейчас называют науку о сборе информации, ее обработке и истолковании. Область интересов статистики — массовые явления в социальноэкономических и производственных сферах: распределение доходов среди населения, сроки службы массово изготовленных изделий, урожайности сельскохозяйственных культур (в разные годы, в раз-

ных хозяйствах) и т. п. Нередко подобные показатели ведут себя как случайные величины. Законы распределения этих случайных величин обычно неизвестны, сведений для их теоретического вывода нет или недостаточно, поэтому единственный путь к их изучению — это наблюдения. В этом параграфе мы будем говорить, как по имеющейся (наблюдаемой) совокупности независимых наблюдений над случайной величиной можно делать выводы о ее распределении.

Примем для случайной величины обозначение X. Ее независимые реализации в прошлом параграфе мы обозначали X1, X2 , …, Xn, где n — их общее число. В статистике сложилась иная традиция: значения, которые в осуществившемся опыте приняла величина X, обозначают строчными буквами x1, x2, …, xn — это числа. Именно с наборами чисел (в основном) имеет дело статистика. Задача этого параграфа — обсудить, как по таким наборам чисел приблизиться к неизвестному закону распределения F( x) случайной величины X.

Поговорим об обозначениях. Можно вспомнить, что в предыдущем параграфе (и ранее) символами x1, x2, … мы обозначали возможные значения величины X. Теперь эти символы суть значения, которые величина X принимала в разных опытах. Надо признать, что сложившееся обыкновение символами x1, x2, … одинаково обозначать разные объекты может приводить к путанице. Но переменить обычай невозможно. Единственное, что нам остается, — это проявлять осторожность и всякий раз ясно сознавать, что именно этими символами на этот раз обозначено.

2.1. Выборочная функция распределения

Предположим, что нам даны n независимых реализаций некой случайной величины X. Для удобства обсуждения каким-либо образом занумеруем эти наблюдения и далее будем обозначать их x1, x2, …, xn. Как уже было сказано, коротко этот набор чисел x1, x2, … …, xn мы можем назвать выборкой. Подчеркнем, что номера наблюдениям (элементам выборки) были даны произвольно. Поэтому нумерация не должна оказывать влияния на результаты исследований.

Предположим далее, что нас интересует закон распределения случайной величины X. Имея наблюдения над этой случайной величиной (выборку), мы хотели бы получить хотя бы приблизительное представление о ее неизвестном распределении. Закон распределения величины X однозначно определяется функцией распределения F(·) : F( x) =P( X ¶x) для x (−∞, +∞). Можно ли по выборке приблизительно вычислить значения F( x) при различных x? Таким приближенным значением для F(·) служит так называемая выборочная функция распределения, которую мы сейчас определим (синонимы: эмпирическая функция распределения; функция распределения выборки).

Расположим числа x1, x2, …, xn на числовой прямой, которую пробегает введенная выше переменная x (аргумент функции распределения F( x)). Припишем каждому из этих значений одинаковую веро-

ятность, равную 1n . Мы поступаем так потому, что у нас нет никаких

оснований отдавать предпочтение одним наблюдениям над другими. Ведь все эти наблюдения приводятся над одной и той же случайной величиной X. Однако если какие-то значения в выборке совпадают, т. е. xi =xj (на практике это не редкость), то приписанная каждому из этих значений вероятность в результате суммируется в этой совпадающей точке. Если в выборке в некоторой точке совпали k значений, то

в результате этой точке будет приписана вероятность nk . Это распре-

деление вероятностей называют выборочным или эмпирическим. Выборочное (эмпирическое) распределение вероятностей является случайным, так как числа x1, x2, …, xn появились в результате действий случая. (Если бы мы вторично и независимо получили n новых наблюдений над X, новое выборочное распределение оказалось бы иным.)

Выборочное распределение вероятностей, хотя оно и случайное, тем не менее — настоящее распределение вероятностей, и оно обладает всеми свойствами и характеристиками распределений. В частности, у него есть функция распределения. Мы также обозначим ее

через F, но снабдим ради отличия индексом n: выборочная функция распределения теперь обозначается Fn( x). Выборочная функция распределения является дискретной (поскольку дискретно выборочное распределение).

Дадим определение значений Fn( x), двигаясь по оси x от −∞ к +∞. Для простоты описания без потери общности будем считать, что значения выборки упорядочены в порядке возрастания, т. е. x1 ¶ ¶x2 ¶x3 ¶… ¶xn. При значениях x, меньших наименьшего значения выборки Fn( x) =0, так как Fn( x) есть вероятность того, что введенная нами дискретная случайная величина со значениями x1, …, xn примет значение, меньшее своего минимума. Это событие невозможное, и его вероятность, следовательно, равна 0. Когда x, постепенно возрастая от −∞, сравняется с минимальным значением в выборке

x =x1, функция Fn( x) совершит скачок, равный 1n (если в выборке нет

нескольких совпадающих минимальных значений). На полуинтервале [x1, x2) выборочная функция распределения сохраняет постоянное

значение Fn( x) = 1n , так как у введенной нами случайной величины есть только одно значение x1, меньшее или равное x [x1, x2), и его вероятность по определению равна 1n . Достигнув второго по величине наблюдения x2, функция Fn( x) опять совершает скачок 1n (при отсутствии совпадающих значений в этой точке) и принимает значение Fn( x2) = 2n . Это значение функция Fn( x) сохраняет для всех x [x2, x3), И т. д. Если несколько значений выборки совпали, то в этой точке выборочная функция распределения совершает скачок nk , где k —

число совпавших значений в данной точке. Достигнув максимального значения выборки xn, функция Fn( x), совершая очередной скачок, принимает значение 1 и сохраняет его для всех x ¾xn. Таким образом, выборочная функция распределения представляет собой ступенчатую монотонно неубывающую функцию с точками скачков в значениях выборки. Кратко можно сказать, что значения выборочной функции распределения в точке x определяются как доля значений выборки, меньших или равных x.

Типичный вид графика выборочной функции распределения представлен на рис. 4.1.

Главное свойство выборочных функций распределения состоит в том, что при большом числе наблюдений n функция Fn близка к функции F. Поэтому о свойствах функции F можно судить по свойствам функции Fn. Например, квантили функции Fn близки (при

большом n) к квантилям функции F; вероятности

P(a < x ¶ b) = F(b) −F(a)

близки к Fn(b) −Fn(a) для любых a <b и т. д.

Упомянутая близость Fn и F есть прямое следствие закона больших чисел; точнее, это следствие теоремы Бернулли. Как обычно, утверждение о приближенном равенстве (в данном случае Fn ≈F) формулируется в виде теоремы о пределе.

Теорема 2.1.1. Для любого числа x справедливо соотношение Fn( x) → F( x) по вероятности при n → ∞.

Доказательство. Для некоторого фиксированного x обозначим через k число значений в выборке, меньших или равных x. Тогда

Fn( x) = nk .

Назовем событие ( X ¶x) успехом. Тогда число событий ( xi ¶x), i =1, …, n, — это число успехов в n испытаниях Бернулли, а Fn( x) — это частота успехов в этих n испытаниях. Согласно теореме Бернулли частота успеха сходится к вероятности успеха. В данном случае вероятность успеха есть P( X ¶x) =F( x). Утверждение теоремы 1 следует из теоремы Бернулли.

Cформулируем более сильный результат.

Теорема 2.1.2. Выборочная функция распределения Fn сходится к F равномерно (по вероятности) при n →∞.

Равномерная сходимость означает, что при больших n выборочная функция Fn( x) близка к F( x) при всех значениях x: график функции

Рис. 4.2. Соотношение между графиками выборочной функции распределения и функции распределения

y = Fn( x) оказывается с большой вероятностью близким к графику функции y =F( x) при достаточно больших n (см. рис. 4.2).

При большом n график функции y = Fn( x) с близкой к 1 вероятностью целиком лежит в заштрихованной полосе около графика y =F( x).

Теорема 2.1.2 является частным случаем теоремы Гливенко, доказанной в начале 30-х годов XX в. В математической статистике на этой теореме базируется известный критерий согласия Колмогорова (см. [4]), который можно рассматривать как уточнение этой теоремы.

Доказательство этой теоремы мы приводить не будем, но заметим, что упомянутая теорема есть частная форма общего математического факта: если последовательность монотонных функций сходится поточечно к монотонной функции, то эта сходимость равномерная. Из теоремы Бернулли следует, что Fn(t) →F(t) (по вероятности) для каждого t, т. е. поточечно в каждой точке.

Упражнения

1. В таблице приведены данные о росте юношей-студентов. Постройте выборочную функцию распределения.

Таблица 4.4

Рост юношей

182 183 168 174 165 174 163 168 179 185 171 174 180 175

179 181 169 184 172 174

2.2. Выборочная функция распределения и оценивание

Выборочная функция распределения играет важную роль в одном из подходов теории оценивания неизвестных параметров вероятностных распределений случайных величин по наблюдениям за этими величинами, т. е. выборками. Это подход именуют методом моментов. Он опирается при вычислении моментов случайной величины (т. е. математического ожидания, дисперсии и т. д.) на замену функции распределения F( x, θ), где θ — неизвестный параметр (или, в общем виде, набор параметров) эмпирической функцией распределения Fn( x). Равномерная близость функции Fn( x) к F( x, θ) в указанном в теореме 2.1.2 смысле обеспечивает близость между получаемой таким образом оценкой и интересующим нас моментом.

§ 3. Центральная предельная теорема

3.1. Теорема Муавра—Лапласа

Закон больших чисел говорит, что среднее арифметическое большого числа независимых случайных величин (это тоже случайная величина) ведет себя как практически неслучайная, постоянная величина. Применительно к испытаниям Бернулли этот закон (именуемый теоремой Бернулли) утверждает, что отношение числа успехов S к числу испытаний n дает нам представление о вероятности успеха p в одном испытании:

nS ≈ p

с ростом числа испытаний. Сколь же велико должно быть количество испытаний n?

Прежде чем ответить на этот вопрос, попытаемся применить закон больших чисел к сумме независимых нормально распределенных случайных величин. Обозначим их через X1, X2, …, Xn и предположим дополнительно, что их распределения совпадают, т. е. Xi N(a, σ2 ) для любого i. Тогда согласно теореме Чебышёва

¯X¯ → a по вероятности, или, другими словами,

с ростом n для любого сколь угодно малого ǫ>0. Заметим, что в силу нормального распределения случайных величин X1, X2 , …, Xn их среднее арифметическое ¯X¯ также имеет нормальное распределение

что для любых n и ǫ можно напрямую вычислить вероятность того, что среднее арифметическое случайных величин близко к их среднему значению, а именно,

где Φ(·) — функция стандартного нормального распределения. Заметим, что аргумент этой функции в формуле (3.1.2) при любом фиксированном ǫ неограниченно растет с ростом n, а следовательно, Φ(pnǫ) → 1. Таким образом, задав для события в левой части равенства (3.1.1) желаемую (близкую к единице) доверительную вероятность, можно указать значение n, при котором она будет достигаться.

Аналогично мы смогли бы ответить на поставленный выше вопрос о количестве испытаний n, обеспечивающих с заданной вероятно-

стью близость Sn к p, если бы знали распределение случайной вида

Sn −p.

Понимание того, как при больших n распределена случайная величина Sn −p, дает теорема Муавра—Лапласа. Эта теорема утверждает, что

при неограниченном увеличении числа испытаний n распределение случайной величины

становится все более похожим на нормальное. (Умножение на pn понадобилось для того, чтобы случайная величина не стремилась к нулю.) Поэтому при достаточно больших n вместо точного распределения этой случайной величины можно использовать нормальное

распределение для приближенного вычисления вероятностей собы-

тий типа n o a ¶pn Sn −p ¶ b ,

где a <b — произвольные числа.

В традиционной форме теорема относится к случайной величине

(здесь, как обычно, q =1 −p). Теорема утверждает, что распределение этой последней случайной величины с ростом n сходится к стандартному нормальному закону.

Теорема Муавра—Лапласа. Пусть S — число успехов в n испытаниях Бернулли. (Число n не случайное; оно не зависит от результатов испытаний.) Пусть p — вероятность успеха в одном испытании, 0 < p <1. Тогда равномерно относительно a и b, где −∞ <a <b <+∞,

Для описания распределений вероятностей на числовой прямой удобно использовать их функции распределения. Напомним, что функцией распределения случайной величины X (и порождаемого ею распределения вероятностей) называют вероятность P( X ¶ x). Здесь x — аргумент функции; x пробегает числовую прямую. Функцию стандартного нормального распределения N(0, 1) определяют в точке x как

С обращением к функции распределения теорему Муавра—Лапласа можно сформулировать так. При n →∞ равномерно по a, b, a <b, имеет место сходимость

Для приложений теории вероятностей эта форма удобна тем, что функция стандартного нормального распределения Φ( x) снабжена подробными таблицами, в которых можно найти значения Φ(b) и Φ(a) (см. с. 4.2.1).

О случайной величине (3.1.3), с которой мы начали обсуждение, теорема Муавра—Лапласа утверждает, что при больших n случайная величина (3.1.3) распределена приближенно нормально N(0, pq):

P pn nS −p ¶ z ≈ Φ pzpq .

3.2. Приближенные вычисления

Теорему Муавра—Лапласа часто используют для приближенного вычисления вероятностей событий типа

для заданного числа испытаний n и чисел A < B. Для этого событие (3.2.1) переводят в форму

a ¶ pS −np ¶ b np(1 −p)

преобразованиями, не меняющими самого события. Из элементов неравенства (3.2.1) сначала вычитают np, а затем делят на pnpq. Так для исходного события (3.2.1) получают форму

Если n достаточно велико, а вероятность успеха p не слишком близка к 0 или к 1, то

Если вероятность успеха p нам известна, то по этой формуле вероятность события (3.2.1) можно вычислить. Точность этого приближения зависит не только от n и p, но и от положения отрезка [ A, B] относительно np (относительно S). Лучшее согласие бывает, если числа A и B расположены симметрично по обе стороны от np.

Если при больших n числа A и B целые, то более точное приближение дает формула

Отступление от A на половину единицы влево и от B на половину единицы вправо (с последующим применением теоремы Муавра—Ла- пласа) называют поправкой на непрерывность. Поправки на непрерывность применяют и в других случаях, когда для приближенных вычислений дискретных распределений прибегают к непрерывным распределениям.

Вопрос о том, при каких n (начиная с каких n) и при каких значениях p, A, B формулы (3.2.3), (3.2.4) и им подобные дают приемлемые для практического использования приближения к истинным вероятностям, полного теоретического решения не получил до сих пор, несмотря на его долгую историю и большие приложенные усилия. Практические рекомендации сводятся к тому, что величина npq (дисперсия S) не должна быть малой; например, npq ¾10. В литературе для P( A ¶S ¶B) были предложены и другие приближенные формулы — более точные, но более сложные и потому менее удобные.

Мы их не упоминаем. При необходимости предлагаем обращаться за информацией к специальным сборникам таблиц [4, 18].

Всвязи с развитием и распространением компьютеров, а теперь

имощных карманных калькуляторов, данный вопрос в значительной степени потерял свою остроту: при «умеренных» значениях n, к которым и относятся сомнения, стали возможны прямые вычисления интересующих нас вероятностей. Поэтому обращение к приближенным формулам теперь не неизбежно.

Упражнения

1. Пусть S — число успехов в n = 10 испытаниях Бернулли при p =1/2. Вычислите точно вероятность того, что 2 ¶S ¶8. Вычислите приближенные вероятности того же события, используя формулы (3.2.3) и (3.2.4). Сравните полученные результаты. Достаточно ли число испытаний n, чтобы пользоваться приближенными формулами?

2. Пусть S — число успехов в n = 20 испытаниях Бернулли при p =1/2. Вычислите точно вероятность того, что 8 ¶S ¶12. (Для этого лучше прибегнуть к таблицам биномиального распределения или воспользоваться для расчетов программой EXCEL, хотя задачу можно решить и вручную.) Вычислите приближенные вероятности того же события, используя формулы (3.2.3) и (3.2.4). Сравните полученные результаты. Достаточно ли число испытаний n, чтобы пользоваться приближенными формулами?

3. Выполните упражнение 1 при p =1/3. Ухудшилось или улучшилось согласие точных и приближенных расчетов по сравнению с результатами упражнения 1?

4. Пусть S — число успехов в n = 20 испытаниях Бернулли при p =1/4. Вычислите точно вероятность того, что 3 ¶S ¶7. (Для этого лучше прибегнуть к таблицам биномиального распределения или воспользоваться для расчетов программой EXCEL, хотя задачу можно решить и вручную.) Вычислите приближенные вероятности того же события, используя формулы (3.2.3) и (3.2.4). Сравните полученные результаты. Достаточно ли число испытаний n, чтобы пользоваться приближенными формулами?

3.3. Центральная предельная теорема

Теорема Муавра—Лапласа послужила источником для многих обобщений. Чтобы понять, в каком направлении шло развитие, дадим этой теореме несколько иную форму. Представим число успехов S