25. Статистические оценки параметров распрделения. Несмещенные, эффективные и состоятельные оценки.

Пусть требуется изучить количественный признак генеральной совокупности.

Допустим, что из теоретических соображений удалось установить, какое именно

распределение имеет признак.

Возникает задача оценки параметров, которыми определяется это распреде-

ление. Например, если наперед известно, что изучаемый признак распределен

в генеральной совокупности нормально, то необходимо оценить (приближенно

найти) математическое ожидание и среднее квадратическое отклонение, так как

эти два параметра полностью определяют нормальное распределение; если есть

основания считать, что признак имеет, например, распределение Пуассона, то

необходимо оценить параметр λ, которым это распределение определяется.

Обычно в распоряжении имеются лишь данные выборки, например значе-

ния количественного признака x1, x2, . . . , xn, полученные в результате n на-

блюдений. Через эти данные и выражают оцениваемый параметр. Рассматривая

x1, x2, . . . , xn, как независимые случайные величины X1, X2, . . . , Xn, можно ска-

зать, что найти статистическую оценку неизвестного параметра теоретического

распределения - это значит найти функцию от наблюдаемых случайных вели-

чин, которая и дает приближенное значение оцениваемого параметра.

Определение 41. Статистической оценкой неизвестного параметра теоре-

тического распределения называется функция от наблюдаемых случайных

величин.

12.2. Несмещенные, эффективные и состоятельные оценки

Для того чтобы статистические оценки давали хорошие приближения оценива-

емых параметров, они должны удовлетворять определенным требованиям.

Пусть Θ∗

- статистическая оценка неизвестного параметра Θ теоретического

распределения.

Допустим, что по выборке объема n найдена оценка Θ∗

1

. Повторим опыт,

т. е. извлечем из генеральной совокупности другую выборку того же объе-

ма и по ее данным найдем оценку Θ∗

2

. Повторяя опыт многократно, получим

числа Θ∗

1

, Θ∗

2

, . . . , Θ∗

k

,, которые, вообще говоря, различны между собой. Таким

образом, оценку Θ∗

, можно рассматривать как случайную величину, а числа

Θ∗

1

, Θ∗

2

, . . . , Θ∗

k

, - как ее возможные значения.

Представим, что оценка Θ∗

дает приближенное значение Θ с избытком;

тогда каждое найденное по данным выборок число Θ∗

i

(i = 1, 2, . . . , k больше

истинного значения Θ. Ясно, что в этом случае и математическое ожидание

(среднее значение) случайной величины Θ∗

больше, чем Θ, т. е. M[Θ∗

] > Θ.

Если Θ∗

дает оценку с недостатком, то M[Θ∗

] < Θ.

Таким образом, использование статистической оценки, математическое ожи-

дание которой не равно оцениваемому параметру, привело бы к систематическим

(одного знака) ошибкам. По этой причине естественно потребовать, чтобы ма-

тематическое ожидание оценки Θ∗

было равно оцениваемому параметру. Хотя

соблюдение этого требования не устранит ошибок (одни значения Θ∗

больше,

24 Закон больших чисел

 

Практика изучения случайных явлений показывает, что хотя результаты отдельных наблюдений, даже проведенных в одинаковых условиях, могут сильно отличаться, в то же время средние результаты для достаточно большого числа наблюдений устойчивы и слабо зависят от результатов отдельных наблюдений. Теоретическим обоснованием этого замечательного свойства случайных явлений является закон больших чисел. Общий смысл закона больших чисел  - совместное действие большого числа случайных факторов приводит к результату, почти не зависящему от случая.

 

Центральная предельная теорема

 

Теорема Ляпунова объясняет широкое распространение нормального закона распределения и поясняет механизм его образования. Теорема позволяет утверждать, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин, дисперсии которых малы по сравнению с дисперсией суммы, закон распределения этой случайной величины оказывается практически нормальным законом. А поскольку случайные величины всегда порождаются бесконечным количеством причин и чаще всего ни одна из них не имеет дисперсии, сравнимой с дисперсией самой случайной величины, то большинство встречающихся в практике случайных величин подчинено нормальному закону распределения.

 

Остановимся подробнее на содержании теорем каждой из этих групп

 

В практических исследованиях очень важно знать, в каких случаях можно гарантировать, что вероятность события будет или достаточно мала, или как угодно близка к единице.

Под законом больших чисел и понимается совокупность предложений, в которых утверждается, что с вероятностью, как угодно близкой к единице (или нулю), произойдет событие, зависящее от очень большого, неограниченно увеличивающегося числа случайных событий, каждое из которых оказывает на него лишь незначительное влияние.

Точнее, под законом больших чисел понимается совокупность предложений, в которых утверждается, что с вероятностью, как угодно близкой к единице, отклонение средней арифметической достаточно большого числа случайных величин от постоянной величины -  средней арифметической их математических ожиданий, не превзойдет заданного как угодно малого числа.

Отдельные, единичные явления, которые мы наблюдаем в природе и в общественной жизни, часто проявляются как случайные (например, регистрируемый смертный случай, пол родившегося ребенка, температура воздуха и др.) вследствие того, что на такие явления действует много факторов, не связанных с существом возникновения или развития явления. Предсказать суммарное действие их на наблюдаемое явление нельзя, и они различно проявляются в единичных явлениях. По результатам одного явления нельзя ничего сказать о закономерностях, присущих многим таким явлениям.

Однако давно было замечено, что средняя арифметическая числовых характеристик некоторых признаков (относительные частоты появления события, результатов измерений и т. д.) при большом числе повторений опыта подвержена очень незначительным колебаниям. В средней как бы проявляется закономерность, присущая существу явлений, в ней взаимно погашается влияние отдельных факторов, которые делали случайными результаты единичных наблюдений. Теоретически объяснить такое поведение средней можно с помощью закона больших чисел. Если будут выполнены некоторые весьма общие условия относительно случайных величин, то устойчивость средней арифметической будет практически достоверным событием. Эти условия и составляют наиболее важное содержание закона больших чисел.

 

 Первым примером действия этого принципа и может служить сближение частоты наступления случайного события с его вероятностью при возрастании числа испытаний – факт, установленный в теореме Бернулли (швейцарский математик Якоб Бернулли (1654- 1705)).Теорема Бернулл является одной из простейших форм закона больших чисел и часто используется на практике. Например, частоту встречаемости какого-либо качества респондента в выборке принимают за  оценку соответствующей вероятности).

 

Выдающийся французский математик Симеон Денни Пуассон (1781- 1840) обобщил эту теорему и распространил ее на случай, когда вероятность событий в испытании меняется независимо от результатов предшествующих испытаний. Он же впервые употребил термин «закон больших чисел».

Великий русский математик Пафнутий Львович Чебышев (1821 - 1894) доказал, что закон больших чисел действует в явлениях с любой вариацией и распростаняется также на закономерность средней.

Дальнейшее обобщение теорем закона больших чисел связано с именами  А.А.Маркова, С.Н.Бернштейна, А.Я.Хинчина и А.Н.Колмлгорова.

Общая  современная постановка задачи, формулировка закона больших чисел, развитие идей и методов доказательства теорем, относящихся к этому закону, принадлежит русским ученым П. Л. Чебышеву, А. А. Маркову и А. М. Ляпунову.