6. Неравенство информации.

Следующие два условия принято называть условиями регулярности.

(R) Существует такой носитель C семейства распределений Fθ, что при каждом y ∈ C функция p fθ(y) непрерывно дифференцируема по θ всюду в области Θ.

(RR) Информация Фишера I(θ) = E (∂/∂θ ln fθ(X1))^2 существует, положительна и непрерывна по θ во всех точках θ ∈ Θ.

Пусть X1, . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ, и семейство

{Fθ, θ ∈ Θ} удовлетворяет условиям регулярности (R) и (RR). Справедливо следующее утверждение.

Т е о р е м а 14 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда для любой несмещённой оценки θ∗ ∈ K0, дисперсия которой Dθ∗ ограничена

на любом компакте в области Θ, справедливо неравенство Dθ∗ = E (θ∗ − θ)^2 >=1/n*I(θ).

У п р а ж н е н и е. Проверить, что для показательного семейства распределений Eα с параметром α > 0 дисперсия DX1 не ограничена глобально при α > 0, но ограничена на любом компакте α ∈ K ⊂ (0, +∞).

Неравенство сформулировано для класса несмещённых оценок. В классе оценок с произвольным смещением b(θ) неравенство Рао — Крамерa выглядит следующим образом.

Т е о р е м а 15 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда для любой оценки θ∗ ∈ Kb(θ), дисперсия которой Dθ∗ ограничена на любом

компакте в области Θ, справедливо неравенство E (θ∗ − θ)^2 >= (1 + b’(θ))^2/(n*I(θ))+ b^2(θ), т. е.

Dθ∗ >=(1 + b’(θ))^2/(n*I(θ)).

7. Теорема факторизации.

Т е о р е м а 34 (факторизационная теорема Неймана — Фишера). Статистика S является достаточной тогда и только тогда, когда функция правдоподобия представима в виде произведения двух функций

f(X1, . . . , Xn; θ) = h(X~ ) · Ψ(S, θ) п. н., каждая из которых зависит только от указанных аргументов.

(Надо теоремку)

8. Оценки максимального правдоподобия.

Метод максимального правдоподобия — ещё один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ, максимизирующее вероятность получить при n опытах данную выборку

X~ = (X1, . . . , Xn). Это значение параметра θ зависит от выборки и является искомой оценкой.

Оценкой максимального правдоподобия (ОМП) ˆθ для неизвестного параметра θ называют такое значение θ, при котором достигается максимум функции f(X~ ; θ).

Пусть есть выборка   из распределения  , где   — неизвестные параметры. Пусть   — функция правдоподобия, где  . Точечная оценка

называется оце́нкой максима́льного правдоподо́бия параметра  . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия   используют логарифмическую функцию правдоподобия  . Так как функция  монотонно возрастает на всей области определения, максимум любой функции   является максимумом функции  , и наоборот.

Метод нахождения *

1) найти 1ую производную d ln L / d

2) приравнять производную к 0, найти критические точки (корень полученного уравнения)

3) найти 2ую производную d² ln L / d ²

Если 2ая производная при = * отрицательна, то => * - т.max

и => * - оценка наиб правдоподобия параметра

9. Оценки максимального правдоподобия( для параметров конкретных)

Чет хз

10. Оценивание с помощью моментов.

Рассмотрим некоторые стандартные методы получения точечных оценок. Метод моментов предлагает для нахождения оценки неизвестного параметра использовать выборочные моменты вместо истинных. Этот метод заключается в следующем: любой момент случайной величины X1 (например, k -й) является функцией от параметра θ. Но тогда и параметр θ может оказаться функцией от теоретического k -го момента. Подставив в эту функцию вместо неизвестного теоретического k -го момента его выборочный аналог, получим вместо параметра θ его оценку θ∗.

Пусть X1, . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ, где θ ∈ Θ ⊆ R. Выберем некоторую функцию g(y) : R → R так, чтобы существовал момент Eg(X1) = h(θ) (3) и функция h была обратима в области Θ. Решим уравнение (3) относительно θ, а затем вместо истинного момента возьмём выборочный:

θ = h^−1(Eg(X1)), θ∗ = h^−1*(g(X)(все с чертой))= h^−1*(1/n *summa g(Xi))

Полученная таким образом оценка θ∗ называется оценкой метода моментов (ОММ) для параметра θ

Суть: приравнивание опр кол-ва выборочных моментов р-мого распределения к соотв кол-ву теоритических моментов того же порядка. В качестве моментов р-мся нач и центральные моменты.

Примеры оценки по методу моментов

Пр1.

Показательный з-н распредел. По выборке х1…хн требуется найти оценку параметра λ-?

Показательный з-н: f(x;λ)=λ*e^-λ*x x>=0

Т.к. неизвестен всего лишь 1 параметр = > для его определения необходимо 1 ур-ие, т.е. l=1

x>=0 => ∫₀^∞ xλe^-λ*x dx = 1/λ ; 1/λ = 1/n * ∑x = Хв => λ = 1/Хв ;

λ* = 1/Хв = n/ ∑x

Пр2.

Норм з-н распределения. Найти по выборкуе х1…хн неизв параметры Mx-? σ-?

По опр Мх – момент 1го порядка

Мх =

По опр Dх – момент второго порядка

Dх =

Мх* = Хв

σх* = √Dв

17. Распределение Стьюдента. Английский статистик Госсет, публиковавший научные труды под псевдонимом Стьюдент, ввёл следующее распределение.

Опр: Пусть ξ₀, ξ₁, . . . , ξ_k независимы и имеют стандартное нормальное распределение. Распределение случайной величины называется распределением Стьюдента с k степенями свободы и обозначается T_k. Распределение Стьюдента совпадает с распределением случайной величины , где ξ N_0,1 и H_k независимы. Плотность распределения Стьюдента с k степенями свободы равна

С в о й с т в о 6. Распределение Стьюдента симметрично: если случай-

ная величина t_k имеет распределение Стьюдента T_k с k степенями свободы, то и −t_k имеет такое же распределение.

С в о й с т в о 7. Распределение Стьюдента Tn слабо сходится к стан-дартному нормальному распределению при n → ∞.

Отметим, что распределение Стьюдента табулировано: если в каких-то доверительных интервалах появятся квантили этого распределения, то мы найдём их по соответствующей таблице, либо, при больших n, используем нормальную аппроксимацию для распределения Стьюдента.

Распределение Стьюдента с одной степенью свободы есть стандартное

распределение Коши. Действительно, если подставить k = 1 в плотность и учесть Γ(1/2) = √π и Γ(1) = 1, то получится плотность распределения Коши: .

С в о й с т в о 8. У распределения Стьюдента существуют только мо-менты порядка m < k и не существуют моменты порядка m > k. При этом все существующие моменты нечётного порядка равны нулю.