Основные понятия математической статистики

Неравенство Чебышева

для любого>0.

Пусть наблюдаемая в эксперименте случайная величина принимает значенияa₁, a₂,…,_r– число элементов соответствующей выборки=(X₁,…,X_n), принявших значениеa_r(r=1, 2,…),_r^*=_r/n– относительная частота.

Запись в виде последовательности пар {( a_r,_r)}, где_r>0, или в виде таблицы

a1	a2	a3	…..	…..
1	2	3	……	……

называется статистическим рядом.

Наиболее важными характеристиками случайной величины являются ее моменты_k=E^k, а также центральные моменты_k=E(–₁)^k(когда они существуют). Их статистическими аналогами, вычисляемыми по соответствующей выборке= (X₁,…,X_n), являютсявыборочные моменты

,.

Величина называетсявыборочным средними обозначается:==; величинаназываетсявыборочной дисперсиейD_в===.

Если выборочные данные представлены в виде статистического ряда {( a_r,_r)}, то выборочные моменты вычисляются по формулам

,.

Для произвольного распределения Fи произвольного числаp(0,1) уравнениеF(x)=pопределяетр-квантиль_p, т.е.F(_p)=p(чтобы решение было однозначным, графикF(x)в точках разрыва (когда они есть) дополняют вертикальными отрезками, а в случаях, когда этому уравнению удовлетворяет много значенийх, в качестве_pвыбирается минимальное) . Выборочнаяр-квантильопределяется какр-квантиль эмпирической функции распределения, т.е.=p, и является статистическим аналогом_p.

Статистика T_n= T_n(X₁,…,X_n) являетсясостоятельной оценкойдля характеристикиgнаблюдаемой случайной величины, если приnдля любого>0 выполняется условиеP{| T_n– g|>}0.

Оценка T_nдляg называется несмещенной, еслиET_n=g. Величинуb=ET_n–gназываетсясмещениемоценкиT_n.

Статистику T_n=T_n(X₁,…,X_n) называютдостаточнойдля параметра, если условная функция распределенияслучайной выборки=(X₁,…,X_n) при условии, чтоне зависит от параметрапри любом возможном значенииt.

Функция

L(X₁,…,X_n;)=p(x₁;)… p(x_n;)

называется функцией правдоподобия. Здесь p(x;) обозначает плотность распределения непрерывной случайной величины или вероятность события {X=x} в случае дискретной случайной величины.

Теорема (критерий факторизации Неймана-Пирсона).Статистика T_n= T_n(x₁,…,x_n) является достаточной для параметра  тогда и только тогда, когда для любой реализации =(x₁,…,x_n) случайной выборки =(X₁,…,X_n) выборочное значение функции правдоподобия имеет вид

L(x₁,…,x_n)=f(T_n(x₁,…,x_n),)h(x₁,…,x_n),

т.е. может быть представлен в виде произведения двух сомножителей, из которых второй не зависит от , а первый (зависящий от ) зависит от результатов наблюдения x₁,…,x_n только через статистику T_n= T_n(x₁,…,x_n).

Пусть независимая выборка из распределения, зависящего от неизвестного параметра,– случайная величина с функцией распределения.

Метод правдоподобия

В качестве оценки параметрапо выборкеиз распределенияF(y,) выбирается значение параметра,максимизирующеефункцию правдоподобия:

.

Здесь p(x;) обозначает плотность распределения непрерывной случайной величины или вероятность события {=x} в случае дискретной случайной величины.

Таким образом, . Статистиканазываетсяоценкой наибольшего правдоподобия. Если функция правдоподобияявляется дифференцируемой по переменным, то оценка наибольшего правдоподобия  удовлетворяет следующей системе уравнений:

.