Оценка параметров нормального распределения.

Для нормального распределения (непрерывного) плотность дается равенством:

(*)

Будем считать, что а и б не известны и найдем их оценки методом правдоподобия:

Из (*) и (5) получаем функцию maxправдоподобия

для завершения первого шага выпишем Lпо(7)

2шагнаходим частную производную

∂L/∂Q= 1/(2δ²)∑2(x_i–a) = 1/(δ²) ∑2(x_i–na)

∂L/∂δ= -n/δ– ½δ^-3(-2) ∑(…)²= -n/δ+ 1/(δ³) ∑(x_i–a)²

переходим к 3ому шагу, находим а^*, δ^*, дающие максимумL

приравняем к нулю второе уравнение

- n/δ+ (1/δ³) * ∑(x_i–a^*)²= ∑(x_i- )²=>

δ^*2= (1/n) * ∑(x_i- )²

получим оценки для параметров нормального распределения:

(9) a^*=

δ^*2=S²

Оценка параметров геометрического распределения.

Это дискретное распределение.

P(ξ=j) =Pq^j-1,j= 1,2,3…

Где j- неизвестный параметр.

1шагпо (6) находим функцию правдоподобия.

для завершения первого шага найдем логарифмическую функцию подобия

L(x₁,…x_n,P) = n lnP + ∑(x_i – 1) ln(1 – P)

2 шаг находим ∂L/∂P:

∂L/∂P = n/P – (∑(x_i – 1)) / (1 – P)

3шаг:находим максимум, приравнивая к нулю ∂L/∂P

n(1 –P) =P*∑(x_i– 1) =P*∑(x_i–n)

P^*=n/ ∑x_i= 1/x

Получили P^* = 1/x

Пример:некто каждый раз после зарплаты покупал билеты лотереи СПРИНТ до тех пор, пока не выиграет 1 билет. Через 0,5 года он выяснил, что:

1раз - купил 8 билетов

2 - 10 билетов

3 - 6 билетов

4 - 11 билетов

5 - 4 билета

6 - 13 билетов

надо оценить по этим данным вероятность выигрыша по одному билету. Мы знаем, что вероятность выигрыша одна и та же, эти события независимы, значит, число купленных билетов подчиняется геометрическому распределению и для оценки неизвестной вероятности Pможно использовать

Найдем по нашей выборке:

= 1/6 *( 8 + 10 + 6 + 11 + 4 + 13) = 52 / 6 = 26 /3

P^*= 3/26 ≈ 0,115

Оценка параметров экспоненциального распределения.

Это непрерывное распределение с плотностью:

1шаг:

L(…) = nlnμ – μ ∑x_i

2шаг: ∂L/∂μ = n/μ - ∑x_i

3шаг: n/μ = ∑x_i = 0 = ∂L/∂μ

μ^* = n / ∑x_i = 1/

совпадает, т.е. в данном случае метод maxправдоподобия и метод моментов дают одну и ту же оценку и это бывает часто.

Оценка параметров распределения Пуассона.

P{ξ=j} = (λ^j /j!) *e^{- λ}_,j= 0,1,2…

1 шаг:

Находим Lпо(7)

L(…) = - λn + (∑x_i) ln λ + ln ()

∂L/∂λ = -n + ∑x_i / λ

3 шаг: ∂L/∂λ = 0 =>

(12)λ^*=

Для распределения равномерно на (a,b) справедливы следующие оценки:

(13)

Мы нашли оценки для биномиального распределения, где nиpнеизвестны. Однако, часто встречается ситуация, когдаn- известно, аp- неизвестно, т.е. известны число испытаний, но не известна вероятность успеха в одном испытании.

Рассмотрим этот случай:

число испытания (известно)

вероятность успеха в одном испытании (неизвестно)

найдем

2 шаг:

3 шаг:

(1 – P) ∑x_i=pnN-p∑x_i

P^*= (1/N) * (∑x_i/n)

(14) P^*= /N

Особенно важен частный случай, когда N= 1, в этом случае получаемP^*= . Когда,N= 1, тоx_i= 0 или (успех или неудача), поэтомубудет равна числу успехов, если обозначить эту сумму или число успехов черезkполучаем:

P^*= ∑x_i/n=k/n

(15) P^*=k/n

Пример:спортсмен выстрелил по цели 20 раз, а попал 15 раз, определить вероятность попадания при 1-ом выстреле

Решение: P^*= 15/20 = 0,75

До сих пор мы встречаем примеры, когда метод maxправдоподобия и метод моментов дают одинаковые оценки, теперь мы рассмотрим пример, где это не так.

Пример: некто впервые попал в неизвестный город, и первый встречный трамвай был с 13 . Надо по этим данным оценить количество маршрутов в этом городе.

Найдем оценку число маршрутов двумя методами (моментов и maxправдоподобия).

Считаем, что в этом городе присваиваются последовательно без пропусков.

IРассмотрим сначала метод моментов:

Дана выборка x₁объемом 1, предположим, что число маршрутовθ, и они заполняют интервал [1,2,3 …θ]. Считая, что вероятность того, что встреченный трамвай с номеромiравна 1/θ.

Для применения метода моментов найдем:

1 шаг: M_ξ = 1/θ * 1 + 1/θ * 2 + … + 1/θ * θ =

2 шаг: = x₁

3 шаг: M_ξ = x₁, (θ + 1) / 2 = x₁ => θ^* = 2x₁ – 1

Число моментов = 25

IIНайдем оценку методом правдоподобия.

Г(x₁,θ) Мы найдем сразу максимум этой функции, используя ее график.

Мы видим, что максимум при θ = 13, т.е θ^*= 13

Мы видим, что оценки отличаются почти вдвое.

Однако здесь различие такое большое, потому что выборка мала, при больших объемах выборки оба метода дают близкое значение