Математическая статистика. Учебное пособие по курсу «Теория вероятностей и математическая статистика»

Какую же информацию можно извлечь из статистической функции распределения, гистограммы и полигона? Пусть случайная величина X имеет функцию распределения Fx(x), то есть Fx(x) равна вероятности события X x:

Статистическая же функция распределения (2.4) равна уже относительной частоте того же события. В теории вероятностей известен так называемый закон больших чисел, в силу которого относительная частота любого события в серии из n независимых опытов сходится с вероятностью единица к вероятности этого события при бесконечном увеличении числа опытов. Следовательно, с вероятностью единица:

Таким образом, полученная статистическая функция распределения является приближением функции распределения исследуемой случайной величины X. И это приближение будет улучшаться с ростом объема выборки и числа частичных интервалов.

Производная функции распределения случайной величины X

называется ее плотностью распределения вероятностей:

относительной частоте того же события ai X ai+1.

- 11 -

Мы будем в дальнейшем рассматривать важную задачу для исследования наблюдаемой случайной величины. Пусть имеется некоторая выборка (будем обозначать ее S) случайной величины Х. Требуется по

имеющейся выборке оценить неизвестные значения mx и σ2x , то есть найти

приближенные значения этих параметров.

Теория оценок различных параметров занимает в математической статистике значительное место. Поэтому рассмотрим сначала общую задачу. Пусть требуется оценить некоторый параметр по выборке S. Каждая такая оценка * является некоторой функцией *= *(S) от значений выборки. Значения выборки S случайны, поэтому и сама оценка *= *(S) является случайной величиной. Можно построить множество различных оценок (то есть функций) *, но при этом желательно иметь «хорошую» или даже «наилучшую», в некотором смысле, оценку. К оценкам обычно предъявляются следующие три естественных требования.

1.Несмещенность. Математическое ожидание оценки * должно равняться точному значению параметра: M[ *] = . Другими словами, оценка * не должна иметь систематической ошибки.

2.Состоятельность. При бесконечном увеличении объема выборки оценка * должна сходиться к точному значению, то есть при увеличении числа наблюдений ошибка оценки стремится к нулю.

3.Эффективность. Оценка * называется эффективной, если она не смещена и имеет минимально возможную дисперсию ошибки. В этом случае минимален разброс оценки * относительно точного

значения и оценка в определенном смысле является «самой точной».

К сожалению, не всегда удается построить оценку, удовлетворяющую всем трем требованиям одновременно.

Для оценки математического ожидания чаще всего применяется оценка

то есть среднее арифметическое по выборке. Если случайная величина X

имеет конечные mx и x, то оценка (2.12) не смещена и состоятельна. Эта оценка эффективна, например, если X имеет нормальное распределение (рис. П.1.4, Приложение 1). Для других распределений она может оказаться смещенной и неэффективной. Например, в случае равномерного распределения (рис. П.1.1, Приложение 1) несмещенной и состоятельной оценкой будет

- 13 -

В то же время оценка (2.13) для нормального распределения не будет ни состоятельной, ни эффективной, и будет даже ухудшаться с ростом объема выборки.

Таким образом, для каждого типа распределения случайной величины Х следовало бы использовать свою оценку математического ожидания. Однако в нашей ситуации тип распределения может быть известен лишь предположительно. Поэтому будем использовать оценку (2.12), которая достаточно проста и имеет наиболее важные свойства несмещенности и состоятельности.

Для оценки математического ожидания по группированной выборке используется следующая формула:

которую можно получить из предыдущей, если считать все mi значений

Эта оценка не смещена и состоятельна для любой случайной величины Х, имеющей конечные моменты до четвертого порядка включительно.

В случае группированной выборки используется оценка:

Оценки (2.14) и (2.16), как правило, смещены и несостоятельны, так как их математические ожидания и пределы, к которым они сходятся,

отличны от mx и σ2x в силу замены всех значений выборки, попавших в i-й

интервал, на представителя интервала zi. Однако исходные наблюдения могут быть даны только в виде группированной выборки, тогда оценки (2.13) и (2.15) не могут быть использованы.

Отметим, что при больших n коэффициент n/(n – 1) в выражениях (2.15) и (2.16) близок к единице, поэтому его можно опустить.

- 14 -

2.4. Интервальные оценки

Пусть точное значение некоторого параметра равно и найдена его оценка *(S) по выборке S. Оценке * соответствует точка на числовой оси (рис. 2.5), поэтому такая оценка называется точечной. Все оценки, рассмотренные в предыдущем разделе, являются точечными. Практически всегда, в силу случайности * мы можем надеяться только на то, что точка * находится где–то вблизи . Но насколько близко? Любая другая точечная оценка будет иметь тот же недостаток – отсутствие меры надежности результата.

*

Рис. 2.5. Точечная оценка параметра

Более определенными в этом отношении являются интервальные

оценки. Интервальная оценка представляет собой интервал γ = (a ; b), в котором точное значение оцениваемого параметра находится с заданной

вероятностью γ. Интервал γ называется доверительным интервалом, а вероятность γ называется доверительной вероятностью и может рассматриваться как надежность оценки.

Доверительный интервал строится по имеющейся выборке S, он случаен в том смысле, что случайны его границы a(S) и b(S), которые мы будем вычислять по (случайной) выборке. Поэтому γ есть вероятность того,

что случайный интервал γ накроет неслучайную точку . На рис. 2.6 интервал γ накрыл точку , а γ* – нет. Поэтому не совсем правильно говорить, что «попадает» в интервал.

Если доверительная вероятность γ велика (например, γ = 0,999), то практически всегда точное значение находится в построенном интервале.

γ

γ*

Рис. 2.6. Два доверительных интервалы параметра

- 15 -

Рассмотрим метод построения доверительного интервала для математического ожидания случайной величины Х, основанный на

центральной предельной теореме.

Пусть случайная величина Х имеет неизвестное математическое ожидание mx и известную дисперсию σ2x . Тогда, в силу центральной предельной теоремы, среднее арифметическое

результатов n независимых испытаний величины Х является случайной величиной, распределение которой при больших n близко к нормальному

нормальным с плотностью распределения (t), график которой изображен на рис. 2.7.

(t)

Рис. 2.7. Плотность распределения вероятностей случайной величины t

Пусть задана доверительная вероятность γ и tγ – число, удовлетворяющее уравнению

интервал (–tγ , tγ) будет равна заштрихованной на рис.2.7 площади, и, в силу выражения (2.19), равна γ. Следовательно,

- 16 -

так как выражение (2.20) означает, что неизвестное точное значение mx находится в γ с заданной доверительной вероятностью γ. Для построения

γ нужно по заданному γ найти tγ из уравнения (2.19). Приведем несколько значений tγ, необходимых в дальнейшем [1, 2]:

t0.9 = 1.645, t0.95 = 1.96, t0.99 = 2.58, t0.999 = 3.3.

При выводе выражения (2.21) предполагалось, что известно точное значение среднеквадратического отклонения х. Однако оно известно далеко не всегда. Воспользуемся поэтому его оценкой (2.15) и получим:

дают следующую формулу для доверительного интервала:

погрешность обусловлена использованием σx вместо неизвестного точного

значения х. При большом объеме выборки и эта погрешность несущественна. Формула (2.23) использует группированную, то есть

- 17 -

огрубленную выборку, поэтому и дает результат, остающийся огрубленным и при бесконечном росте объема выборки.

Следует отметить также, что можно построить сколько угодно доверительных интервалов для заданного γ. Действительно, пусть t’γ и t”γ удовлетворяют условию γ = Ф0(t”γ) – Ф0(t’γ), тогда интервал

t”0.9=1.282. Но тогда длина полученного интервала 1.282–(–4)=5.282 увеличится в 1.6 раза по сравнению с длиной интервала 1.645–(–1.645)=3.290, получаемому из (2.21) при t0.9 = 1.645, при той же доверительной вероятности

γ = 0.9. Формула (2.21) используется потому, что она дает кратчайший доверительный интервал.

Аналогичным образом могут быть найдены интервальные оценки других параметров, например, дисперсии [1, 2].

2.5. Теоретический закон распределения. Метод моментов

При исследовании случайной величины Х по результатам испытаний часто требуется найти закон ее распределения. Тип распределения можно попытаться угадать по виду гистограммы или полигона. Будем называть выбранное нами распределение теоретическим. Каждое теоретическое распределение содержит один или более параметров , , … , S, которым должны быть присвоены некоторые значения. Например, экспоненциальное распределение с плотностью вероятностей f(x) = exp(– x) содержит один

Параметры теоретического распределения нужно выбирать, очевидно, так, чтобы полученное распределение как можно лучше согласовывалось с опытными данными, то есть с выборкой. Другими словами, теория должна как можно точнее описывать эксперимент. Одним из способов оценивания параметров теоретического распределения является метод моментов:

параметры , , … , S выбираются так, чтобы s первых моментов теоретического распределения совпадали с их выборочными оценками.

Рассмотренные нами в начале параграфа распределения содержат один или два параметра. Первыми двумя моментами являются математическое ожидание и дисперсия. Поэтому метод моментов в нашем случае сводится к

- 18 -

такому выбору одного или двух параметров теоретического распределения, чтобы выполнялось первое или оба равенства:

где mˆ x и σˆ 2x – оценки математического ожидания и дисперсии по выборке.

Например, в случае экспоненциального распределения имеется только один параметр , при этом mx = 1λ и из первого равенства (2.24) получаем

= 1mˆ x . В случае же нормального распределения параметров два, при этом mx = m и σ2x σ2 , поэтому из обоих равенств (2.24) получаем два параметра:

m mˆ x и σ2 σˆ 2x .

Отметим, что метод моментов является лишь одним из возможных методов определения параметров теоретического распределения. Для некоторых типов распределений он может дать плохие результаты. Рассмотрим, например, равномерное распределение с плотностью

Решение этой системы приводит к оценкам

Может случиться (а чаще всего так и случается), что полученная нижняя граница распределения a окажется больше некоторых значений из выборки, и/или верхняя граница b окажется меньше некоторых выборочных значений. Теоретическое распределение с такими параметрами a и b следует сразу же отвергнуть как противоречащее условию, что все значения Х должны принадлежать отрезку [a; b].

В случае равномерного распределения следует использовать

- 19 -

которые не приводят к описанным выше противоречиям, не смещены и состоятельны. Если имеется группированная выборка, то можно взять в

качестве а левую границу первого частичного интервала, а в качестве b взять правую границу последнего интервала.

Аналогичным образом можно определить некоторые из параметров других ограниченных распределений. Рассмотрим, например, смещенное экспоненциальное распределение с плотностью:

сосредоточенное на интервале [а; ). Параметр сдвига определяется как a = min xi , а для определения используем метод моментов, приравнивая

математические ожидания: mx mˆ x 1λ +a, откуда λ 1 mˆ x a .

2.6. Критерии согласия

Относительно имеющейся выборки S могут быть высказаны какие-то предположения или гипотезы. Например, мы можем выдвинуть гипотезу о том, что исследуемая случайная величина Х имеет нормальное распределение. Методы проверки гипотез в математической статистике называют критериями.

В общем случае проверка гипотезы производится следующим образом. Пусть относительно выборки S выдвинута гипотеза Н0. В качестве критерия (показателя) согласованности принимается некоторая функция U = U (S , H0). Вся область значений D критерия U делится на две области D0 и D1. Если вычисленное значение критерия принадлежит области D0, то гипотеза H0 принимается, в противном случае Н0 отвергается. Область D0 называется

областью допустимых значений или областью принятия гипотезы, область D1 называется областью отклонения гипотезы или критической

областью.

Поясним это следующим примером. Пусть выдвинута гипотеза Н0 о том, что вероятность события А равна 0.6. В серии же из 100 опытов событие произошло m раз. В качестве критерия примем функцию U = |m/100–0.6|, то есть отклонение относительной частоты события А в серии из 100 испытаний от предполагаемой вероятности 0,6. Множество значений D критерия есть отрезок [0 ; 0.6]. Естественно принимать гипотезу Н0, если m/100 не слишком отличается от 0.6, и отвергать, если разница велика, например, больше 0.2.

- 20 -