Критерії якості точкових статистичних оцінок

Статистична оцінка _n^* параметра  називається незсуненою, якщо М( _n^* ) = .

З двох статистичних незсунених оцінок параметра  ефективнішою називається та, дисперсія якої менше.

Статистична оцінка _n^* параметра  називається обґрунтованою, якщо при оцінка _n^* прямує до числа  за імовірністю, тобто при .

Існує багато методів знаходження точкових статистичних оцінок. Серед таких методів одними з найбільш відомих є метод максимальної правдоподібності (або максимуму правдоподібності) та метод підстановки емпіричного розподілу.

Метод максимальної правдоподібності (ММП)

Припустимо, що розподіл ймовірностей випадкової величини  залежить від деякого параметра . Будемо вважати, що вказаний параметр є дійсним вектором:  = (₁,₂,…,_m),  є ,  - множина можливих значень вектора . Зауважимо, що у реальних ситуаціях дослідник часто має інформацію щодо множини .

Приклад. Припустимо, що розподіл випадкової величини  є нормальним з (числовими) параметрами , . Якщо немає додаткової інформації, то  може апріорно вважатися довільним дійсним числом, а  — довільним додатним (як середнє квадратичне відхилення випадкової величини) числом. Якщо обидва ці параметри є невідомими, то слід покласти  = (, ), так що m тут дорівнює 2. Очевидно,  тут являє собою верхню напівплощину {(, ):  >0} — підмножину декартової площини (, ).

Для знаходження оцінки невідомого параметра  за ММП вводиться так звана функція правдоподібності вибірки.

Означення. Нехай x₁, x₂,…, x_n — вибірка значень випадкової величини . Функцією правдоподібності L = L(x₁, x₂,…, x_n; ) даної вибірки називається функція параметру  , що визначається рівністю

L(x₁, x₂,…, x_n; ) = ,

де вираз Р(=х; ) означає ймовірність того, що дискретна випадкова величина  дорівнює x і ця ймовірність залежить від параметра , а вираз f_ (x; ) – щільність розподілу неперервної випадкової величини, яка залежить від невідомого параметра .

Скорочене позначення функції правдоподібності — L(x;). Зауважимо, що надалі, якщо не буде обумовлене протилежне, L(x;) розглядатиметься як функція параметра  при фіксованому x = (x₁, x₂,…, x_n).

Формулювання ММП. Згідно з ММП в якості оцінки невідомого параметра  приймається таке значення з множини , для якого величина функції правдоподібності L(x; ),  , є найбільшою.

Якщо L(x;),  , є диференційовною функцією , то є розв’язком системи рівнянь максимальної правдоподібності

= 0, і = 1,2,…, m. (4.1)

Часто замість дослідження на екстремум функції L(x;) зручніше досліджувати функцію ln L(x; ). Це можна зробити, наприклад, тому що має місце рівність

.

У цьому випадку замість рівняння (4.1) маємо рівняння

При оцінюванні двох параметрів θ₁ і θ₂ вони визначаються з двох сумісно ров’язуваних рівнянь і .

Приклад 1. Оцінимо за ММП параметри , σ нормально розподіленої випадкової величини . Виходячи з вигляду щільності розподілу , маємо

L(x; ) = L(x;(,σ)) = = ,

звідки

ln L(x; ) = n [ln – ln σ] – ,

ln L(x; ) = ; ln L(x; ) = – + σ ^{– 3} ,

і логарифмічна система рівнянь ММП набуває вигляду

З першого рівняння маємо, позначивши його розв’язок через :

= .

Ця величина має стандартне позначення і називається вибірковим середнім.

З другого рівняння, позначивши відповідний розв’язок , знаходимо

= .

Приклад 2.

Оцінити величину імовірності р за заданим числом m появи події А в n незалежних спостереженнях. Імовірність р можна роглядати як параметр, який входить в розподіл дискретної величини ξ, що приймає два значення ξ₁ = 1 і ξ₂ = 0, в залежності від того, чи відбудеться подія А при спостереженнях, чи ні. Функція правдопдібності має вигляд: . Тоді рівняння запишеться так:

.

Воно має єдиний розв’язок ; отже, оцінкою максимальної правдоподібності буде частість події; причому ця оцінка є незсуненою і обґрунтованою.

Не завжди різні методи дають одні і ті ж рекомендації щодо оцінювання одного і того ж параметра. Втім, і метод максимальної правдоподібності, і метод підстановки емпіричного розподілу призводять до однакової оцінки таких параметрів як математичне сподівання і дисперсія у випадку нормального розподілу. Зауважимо, що у методі підстановки емпіричного розподілу у вирази параметрів, що оцінюються через теоретичну функцію розподілу, підставляється оцінка останньої за вибірковими даними; такою оцінкою може бути, наприклад, емпірична функція розподілу або кумулята.

Нижче наводяться конкретні інструкції відносно оцінювання цих та деяких інших параметрів теоретичного розподілу.

Обчислення статистичних оцінок основних числових параметрів випадкової величини