1. Необходимые сведения из математической статистики.

1.1. Выборка. Статистика.

Основным понятием математической статистики является выборка или совокупность, наблюдений какого-либо количественного показателя. Ее еще называют выборка из генеральной совокупности. Допустим, что имеется n значений некоторой величины, которые объединены в один вектор , где^T обозначает операцию транспонирования матрицы. Число n называется объемом выборки. Также полагается, что наблюдения данной величины получены в результате измерений, сопровождавшихся неизбежными случайными ошибками, поэтому величины x_i все различны. Совокупность всех величин x_i называется случайной выборкой, которую удобно рассматривать как n-мерный случайный вектор. Если предположить, что было произведено бесконечное количество опытов, в которых измеряемая величина приняла некоторые значения x_i (n = ), то совокупность всех этих значений есть генеральная совокупность.

Выборка называется повторной, если все x_i независимы и имеют одинаковый закон распределения F₁(x):

в противном случае выборка бесповторная.

Любая функция от величин x_i называетсястатистикой. В общем случае она может быть дискретной или непрерывной, но в дальнейшем будут рассматриваться только непрерывные статистики.

Примеры статистик:

– выборочное среднее,

– выборочная дисперсия,

– наибольший элемент выборки.

1.2. Оценивание параметров

Допустим, что имеется выборка из n случайных величин, которые полностью характеризуются их совместной плотностью вероятностей

,(1.1)

зависящей от mпараметров . В математической статистике плотность вероятностей называетсяфункцией правдоподобия выборки.

В случае повторной выборки:

(1.2)

Задача заключается в нахождении значений неизвестных параметров распределения по полученным значениям . Естественно, что на основании конечной выборки нельзя получить точные значения искомых параметров, так как выборка случайная. Можно сделать лишь некоторыеоценкиданных параметров или, другими словами,оценитьих значения.

Для этого формируются m статистик:

т.е. строятся mфункций , которые необходимо выбрать так, чтобы они давали в некотором смысле "хорошее" приближение к соответствующим величинам . Тогда статистики называются оценками параметров .

Пример. Имеется выборка из генеральной совокупности нормально распределенных величин с заданными математическим ожиданием  и дисперсией ². Символически это записывается так:

.

Допустим, что величины x_i независимы, тогда выборка – повторная, поэтому

.

Видно, функция правдоподобия выборки зависит от двух параметров  и ², которые необходимо оценить по имеющимся наблюдениям . Т.е. надо построить такие функции и, которые давали бы хорошее приближение к параметрам и ².

1.3. Несмещенные и состоятельные оценки.

В общем случае вектор оценок называется вектором несмещенных оценок параметров , если

, (1.3)

где M[…]–математическое ожидание случайной величины.

Почему необходимо стремиться получать несмещенные оценки параметров _i? Приведем простой пример. Известно, что

,

т.е. в 95 % случаев оценкаg_iбудет заключена в данных пределах. Допустим теперь, что измерения проведены очень точно, разброс ошибок очень маленький, и . Тогда все реализации оценки будут группироваться вокруг величиныM[g_i] в очень узком интервале. И если теперь , то, несмотря на очень точные измерения с маленьким разбросом, оценка параметра _iбудет найдена с ошибкой. Таким образом, одним из критериев качества оценки является ее несмещенность.

Часто, однако, приходится искать не несмещенные, а асимптотически несмещенные оценки, т.е. такие, которые становятся несмещенными при (при увеличении объема выборки).

Оценка g_i некоторого параметра _i называется состоятельной, если для любого :

при .

Другими словами, оценка сходится по вероятности к своему истинному значению при увеличении объема выборки.

Состоятельность оценки является вторым критерием ее качества. Потому что, если оценки получаются несостоятельными, то для их получения не имеет смысла проводить большое число наблюдений, так как это не ведет к повышению точности оценивания.

Пример. Статистика – выборочное среднее является несмещенной оценкой параметра  нормального распределения, а оценка выборочная дисперсия s² (см. предыдущие примеры) является ассимптотически несмещенной оценкой параметра ² того же распределения. В математической статистике доказано, что

и 

т.е. s² занижена в меньшую сторону. Очевидно, что несмещенной оценкой параметраs²будет

,

но и статистика s²будет практически несмещенной при большомn.