1.2. Оценивание параметров

Допустим, что имеется выборка из n случайных величин, которые полностью характеризуются их совместной плотностью вероятностей

,(1.1)

зависящей от mпараметров . В математической статистике плотность вероятностей называетсяфункцией правдоподобия выборки.

В случае повторной выборки:

(1.2)

Задача заключается в нахождении значений неизвестных параметров распределения по полученным значениям . Естественно, что на основании конечной выборки нельзя получить точные значения искомых параметров, так как выборка случайная. Можно сделать лишь некоторыеоценкиданных параметров или, другими словами,оценитьих значения.

Для этого формируются m статистик:

т.е. строятся mфункций , которые необходимо выбрать так, чтобы они давали в некотором смысле "хорошее" приближение к соответствующим величинам . Тогда статистики называются оценками параметров .

Пример. Имеется выборка из генеральной совокупности нормально распределенных величин с заданными математическим ожиданием  и дисперсией ². Символически это записывается так:

.

Допустим, что величины x_i независимы, тогда выборка – повторная, поэтому

.

Видно, функция правдоподобия выборки зависит от двух параметров  и ², которые необходимо оценить по имеющимся наблюдениям . Т.е. надо построить такие функции и, которые давали бы хорошее приближение к параметрам и ².

1.3. Несмещенные и состоятельные оценки.

В общем случае вектор оценок называется вектором несмещенных оценок параметров , если

, (1.3)

где M[…]–математическое ожидание случайной величины.

Почему необходимо стремиться получать несмещенные оценки параметров _i? Приведем простой пример. Известно, что

,

т.е. в 95 % случаев оценкаg_iбудет заключена в данных пределах. Допустим теперь, что измерения проведены очень точно, разброс ошибок очень маленький, и . Тогда все реализации оценки будут группироваться вокруг величиныM[g_i] в очень узком интервале. И если теперь , то, несмотря на очень точные измерения с маленьким разбросом, оценка параметра _iбудет найдена с ошибкой. Таким образом, одним из критериев качества оценки является ее несмещенность.

Часто, однако, приходится искать не несмещенные, а асимптотически несмещенные оценки, т.е. такие, которые становятся несмещенными при (при увеличении объема выборки).

Оценка g_i некоторого параметра _i называется состоятельной, если для любого :

при .

Другими словами, оценка сходится по вероятности к своему истинному значению при увеличении объема выборки.

Состоятельность оценки является вторым критерием ее качества. Потому что, если оценки получаются несостоятельными, то для их получения не имеет смысла проводить большое число наблюдений, так как это не ведет к повышению точности оценивания.

Пример. Статистика – выборочное среднее является несмещенной оценкой параметра  нормального распределения, а оценка выборочная дисперсия s² (см. предыдущие примеры) является ассимптотически несмещенной оценкой параметра ² того же распределения. В математической статистике доказано, что

и 

т.е. s² занижена в меньшую сторону. Очевидно, что несмещенной оценкой параметраs²будет

,

но и статистика s²будет практически несмещенной при большомn.