§2 Точечные оценки параметров.

В этом § мы будем рассматривать следующую задачу:

Дана случайная величина ξ с законом распределения или функцией распределения F_ξ(x,θ₁,θ₂,…θ_k), гдеθ₁,θ₂,…θ_k- некоторые известные параметры. Необходимо по выборке объемаnx₁,x₂,…x_nоценить неизвестные параметрыθ₁,θ₂,…θ_k. Подчеркнем, что каждоеx_iподчиняется закону распределения случайной величины ξ.

Определение. Оценкаθ^*_k- это некоторая функция отx₁,x₂,…x_n (θ^*_k(x₁,x₂,…x_n)).

Рассмотрим примеры оценок важнейших параметров. Математические ожидания и дисперсии. В статистике часто они называются генеральным среднимигенеральной дисперсией, а их оценки, полученные по выборке -выборочным среднимивыборочной дисперсией.

Для них существует и общепринятое обозначение:

Определение.Пусть дана выборкаx₁,x₂,…x_nвыборочное среднее определяется равенством:

(1)(первая оценка)

Определение.Выборочная дисперсия определяется равенством:

(2)

Утверждение

(3)

Доказательство:

=

Свойства оценок

1) Несмещенность: Пусть θ^*(x₁, …x_n) - оценка неизвестного параметраθ, если выполняется равенство

(4) M(θ^*(x₁, …x_n)) =θ, то

оценка называется не смещенной, а если не выполняется, то смещенной.

Пример1:Пусть ξ - случайная величина, у которой существует конечное математическое ожидание, тогда выборочное среднееявляется несмещенной оценкой генерального среднегоM_ξ.

Доказательство:каждоеx_iподчиняется тому же распределению, что и случайная величинаξ, поэтому

(*)M_ξ=M*x_i

справедливы равенства:

М() = {(1)} =M((1/n) *Σx_i) = (1/n) *Σ(М(x_i)) = (1/n) * ΣM_ξ= (1/n) *nM_ξ=M_ξ

Интересно, что оценка S²смещенная.

Утверждение!Пустьξ- случайная величина, у которой существует конечное математическое ожидание и дисперсия.

(**) M_ξ=a,D_ξ=δ²

Каждое x_iраспределена, также как и ξ, поэтому

(***)M(x_i) =a,D(x_i) =δ².

Мы знаем, что D_ξ=M(ξ²) – (M_ξ)²=>(***) =>

(+) M(x²_i) =D_ξ+ (M_ξ)²= {(**)} =δ²+a², аналогично из(***) =>

(++) M(x²_i) = δ² + a²

M(S²) = {(3)} = (1/n) * Σ M (x²_i) – M(²) = {(++)} = (1/n) * Σ(δ² + a²) – M(²) = δ² + a² – M(²)

(^) M(S²) = δ² + a² – M(²)

Оценим M(²)

D() = M(²) – (M)² =>

M(²) = D() + (M)² = {T1} = D() + a²

(^^) M(²) = D() + a²

(!)D() = {(1)} = (1/n²) *ΣD(x_i) = {(***)} = (1/n²) *nδ²=δ²/n, отсюда и(^^) получаем

M(²) =δ²/n+a², подставляем в птичку и находим

(5) M(S²) =δ²–δ²/n= (1 – 1/n) *δ²

Т.к M(S²) ≠δ², то оценка смещенная

Во многих реальных задачах важно иметь несмещенную оценку, поэтому часто применяют оценку дисперсии:

(6)

(6’)

Легко видеть, чтодействительно не смещенное:

Получили: M() =δ², т. е. несмещенная

Другие два важных свойства оценок состоятельность и эффективность.

Определение. Состоятельная оценка - пусть дана случайная величина ξ с законом распределенияF_ξ(x,θ) иθ^*(x₁,x₂,…x_n) оценка параметраθ, построенная по выборке объемаn, она называется состоятельной, если для любогоE> 0 выполняется равенство.

(7)

Физический смысл:какое бы не было маленьким отклонениеEс ростом объема выборки отклонение оценки от неизвестного параметра станет <E.

Понятно, что желательно использовать состоятельную оценку.

Определение.Эффективная оценка - оценка называется эффективной (или самой точной среди несмещенных), если выполняются следующие свойства:

1) θ^*- несмещенная

2) для любой несмещенной оценки выполняется неравенство:M[(-θ)²] >=M[(θ^*-θ)²]

Физический смыслэффективности:

Значение эффективной оценки θ^*значительно ближе находится относительно неизвестного параметра, чем значение любой другой оценки . Понятно, что при прочих равных условиях надо пользоваться эффективными оценками.

Доказательствосостоятельности оценки “выборочное среднее”.

Мы докажем сначала два вспомогательных утверждения:

Утверждение!(неравенства Маркова)

Пусть дана случайная величина ξ, которая принимает только > значения и Е – некоторое число, тогда справедливо равенство:

(9) P{ξ>E} =M_ξ/E

Доказательство: только для непрерывных случайных величин (для дискретных аналогично)

Утверждение!!(неравенство Чебышева)

Пусть дана случайная величина ξ, у которой существуютM_ξиD_ξ,и пусть Е - некоторое число тогда справедливо неравенство:

(10) P{/ξ–M_ξ/ >E] <=D_ξ/E²

Доказательство: введем случайную величину η = (ξ -M_ξ)², тогдаM_η=D_ξ, очевидно η > 0, значит к ней применимо неравенство Маркова:

(*) P{η>E²} <=M_η/E²= {(*)} =D_ξ/E²

P{(ξ-M_ξ)²>E²} <=D_ξ/E²=>P{/ξ-M_ξ/ >E} <=D_ξ/E²=>(10)

Пример.Пустьξ- случайная величина, у которой существуютM_ξиD_ξ. Пусть- выборочное среднее, построенное по выборке объемаn, тогда эта оценка является состоятельной для генерального среднего.

Доказательство:обозначим

(*) M_ξ=a,D_ξ=δ²

мы знаем, что

(**) M() =a,D() =δ²/n

Справедливо соотношение для любого Е > 0:

P{/-a/ >E} = {(**)}=P{/-M()/ >E} = {(10)} =D() /E²= {(**)} =δ²/ (nE²)

Получили вероятность:

0 <= P{/-a/ >E} <=δ²/ (nE²)

Переходя к переделу получим:

P{/-a/ >E} = 0

что эквивалентно определению (7)с отрицанием