3.4 Метод максимальної правдоподібності

Цей метод запропонований Р.Фішером і полягає в тому, що для отримання оцінки невідомого параметра а розподілу генеральної сукупності потрібно знайти таке значення , при якому ймовірність реалізації випадкового вектора була б максимальною.

а) Нехай отримано вибірку з неперервної величини з щільністю , де а невідомий параметр. В цьому випадку будують функцію

,

яку називають функцією правдоподібності.

Значення параметру а, при якому ця функція набуває максимального значення, називають оцінкою, що отримана методом максимальної правдоподібності.

б) Нехай – дискретна випадкова величина, а вибірка задана рядом

			...
			...

.

Припустимо, що розподіл випадкової величини заданий співвідношенням , де а – невідомий параметр.

Тоді функцією правдоподібності будуємо за формулою

.

 Лекція 3

В цьому випадку точку , яка є точкою максимуму функції L , називають оцінкою отриманою методом максимальної правдоподібності.

Нехай для обох випадків функція правдоподібності L така, що:

а) диференційована по а при довільних значеннях вибірки;

б) досягає максимуму по а в інтервалі можливих значень а.

Тоді, згідно правил диференціального числення, оцінки отримуємо, розв’язуючи рівняння

. (3.1)

Якщо параметрів декілька, то розв’язуємо систему рівнянь:

. (3.2)

Оскільки точки максимуму функцій та співпадають, іноді доцільно замість рівнянь (1) та (2) розглядати відповідно рівняння

(3.3)

та

. (3.4)

Зауваження

Розв’язуючи рівняння максимальної правдоподібності (3.1)-(3.4), необхідно відкинути всі корені, що мають вигляд , і вважати розв’язками лише ті корені, що залежать від вибірки .

Приклад 3.4

Задано вибірку з показникового розподілу

Отримати оцінку методом максимальної правдоподібності для параметра а.

Статистична оцінка характеристик розподілу 

Якщо , то щільність випадкового вектора має вигляд

= .

Якщо хоча б одне значення , то .

Отже, функція правдоподібності має вигляд

Розглянемо рівняння правдоподібності

.

Після диференціювання маємо : .

Отже, .

Це і є оцінка знайдена за методом максимальної правдоподібності. 

3.5 Метод моментів

Нехай є вибірковою з генеральної сукупності , що має щільність – невідомі параметри.

К.Пірсон запропонував метод моментів згідно з яким теоретичні моменти s-го порядку

прирівнюються до відповідних статистичних моментів s-го порядку

.

Таким чином, оцінки параметрів отримаємо з системи

рівнянь

.

 Лекція 3

Приклад 3.5

Методом моментів оцінити невідомі параметри рівномірного розподілу.

Рівномірний розподіл визначається двома параметрами і – кінцями інтервалів, на якому визначена випадкова величина. Тому, щоб оцінити невідомі параметри розподілу прирівнюємо емпіричні і теоретичні моменти першого і другого порядків. Теоретичні моменти 1-го і 2-го порядків рівномірного розподілу дорівнюють відповідно:

; .

Відповідні їм емпіричні моменти дорівнюють:

, .

Тому маємо систему рівнянь

.

Або, враховуючи, що , .

Звідси маємо оцінки

; .

Вправи для самостійної роботи

Завдання 1

Вибірку зроблено з генеральної сукупності, що має щільність розподілу .

Які з указаних точкових оцінок і для яких параметрів є незміщенними, конзистентними ?

1. ; ; ; ; ; .

Статистична оцінка характеристик розподілу 

2. Пуасонівський розподіл із параметром : ; .

3. ; ; ; ;

; .

Завдання 2

1. За вибіркою з пуасонівського розподілу оцінити за методом моментів.

2. За вибіркою з пуасонівського розподілу оцінити за методом максимальної правдоподібності.

3. За вибіркою з рівномірного розподілу зі щільністю

оцінити параметр а за методом максимальної правдоподібності.

4. За вибіркою з біномного розподілу зі щільністю оцінити параметр р за методом максимальної правдоподібності.

5. За вибіркою з біномного розподілу зі щільністю оцінити параметр р за методом моментів.

6. За вибіркою з нормального розподілу ( – відоме), оцінити а за методом моментів.

 Лекція 3

7. За вибіркою з нормального розподілу ( – відоме), оцінити а за методом максимальної правдоподібності.

8. За вибіркою з нормального розподілу (а – відоме), оцінити методом максимальної правдоподібності.

9. За вибіркою з нормального розподілу (а – відоме), оцінити методом моментів.

10. За вибіркою з нормального розподілу оцінити а та методом максимальної правдоподібності.

11. За вибіркою з рівномірного розподілу зі щільністю оцінити параметри а та b методом максимальної правдоподібності.

Завдання 3

1. Нехай – вибірка з нормально розподіленої генеральної сукупності .

а) Знайти інформацію Фішера ;

б) показати, що оцінка є ефективною оцінкою .

2. Показати, що відносна частота появи події в незалежних випробуваннях є ефективною оцінкою ймовірності появи події в одному випробуванні.

Лекція 24 Інтервальні оцінки параметрів розподілу 

Лекція 24 Інтервальні оцінки параметрів розподілу

24.1 Інтервальні оцінки параметрів розподілу.

24.2 Надійні інтервали для параметрів нормального розподілу.

24.2.1 Надійні інтервали для математичного сподівання нормально розподіленої випадкової величини .

а) Середнє квадратичне відхилення невідоме.

б) Середнє квадратичне відхилення відоме.

24.2.2 Надійні інтервали для дисперсії.

24.1 Інтервальні оцінки параметрів розподілу

Розглянуті нами раніше способи оцінки невідомих параметрів закону розподілу випадкової величини за даними вибірки дають деяку точкову оцінку невідомого параметра . очевидно, що точкова оцінка не співпадає (за винятком рідких випадків) з істинним значенням невідомого параметру , тому при заміні навідомого параметру на його оцінку завжди є деяка похибка . Очевидно, що тим точніше визначає параметр чим менше . Отже, позитивне число характеризує точність оцінки. Статистичні методи не дозволяють категорично стверджувати, що точкова оцінка задовольняє нерівність ; можна говорити лише про ймовірність з якою ця нерівність виконується, тому в математичній статистиці розглядають ймовірність

(24.1)

Якщо близька до 1, то практично можливі значення похибки при заміні на належать (змінюються) на інтервалі .

Ймовірність називають ймовірністю довіри або надійністю.

Замінивши в (24.1) нерівність на еквівалентну або , отримаємо

(24.2)

Співвідношення (24.2) означає, що ймовірність того, що інтервал покриває невідомий параметр , дорівнює .

Означення 24.1

Випадковий інтервал, визначений за результатами спостережень, який з заданою ймовірністю покриває невідомий параметр , називають надійним інтервалом (інтервалом довіри) для параметру з надійністю .

 Лекція 24

Граничні межі надійного інтервалу називають відповідно нижньою і верхньою надійними межами.

Зауваження

Заданому відповідає не єдиний надійний інтервал. Кінці інтервалу є випадковими величинами і можуть змінюватись від вибірки до вибірки. Крім того, для даної вибірки різними методами при побудові надійних інтервалів (або різні методи знаходження оцінок ) дають різні інтервали. Тому є певні правила, а також ефективні оцінки невідомих параметрів, за якими отримують найкоротші інтервали для заданої надійності .

Розглянемо загальні принципи побудови надійних інтервалів.

Припустимо, що надійний інтервал будуємо (знаходимо) для деякого параметру ганаральної сукупності. За точкову оцінку цього параметра візьмемо оцінку незміщену і ефективну, з середнім квадратичним відхиленням .

Якщо б закон розподілу оцінки був відомий, то для знаходження надійного інтервалу потрібно було б знайти таке значення , для якого .

Але закон розподілу оцінки залежить від закону розподілу випадкової величини , а тому, від його параметра . Щоб не використовувати закон розподілу випадкової величини виходять з того, що значення вибірки є незалежними випадковими величинами, розподіленими за тими ж законами, що і досліджувана випадкова величина , можна скористатись законом великих чисел. За ЦГТ теоретичний вибірковий розподіл вибіркових середніх при великому добре апроксимується відповідним нормальним розподілом з параметрами і . Тобто, більшість числових характеристик вибірки мають нормальний або близький до нормального розподіл.

За ймовірностями , які знаходять з умови

, (24.3)

де (таблиця № 15 додатку 2).

Інтервальні оцінки параметрів розподілу 

знаходять інтервал , в якому лежить значення , обчислене за даною вибіркою (рис.24.1)

Рис.24.1

Можна розв’язати і обернену задачу: за даною ймовірністю знайти значення з умови

(24.4)

таке, що

.

Нерівність - еквівалентної нерівності .

За рівень надійності (довіри), як правило беруть . Це означає, що для вибірок, зроблених з однієї і тієї ж генеральної сукупності, надійний інтервал у 95% (99%) покриває невідомий параметр. При збільшенні рівня надійності будується ширший надійний інтервал, який не зручний для практики (нагадаємо, що чим менша довжина надійного інтервалу, тим точніше оцінка).

Будь-який надійний інтервал знаходять з умови на ймовірність виконання нерівностей, в які входять оцінки . Іноді в нерівностях можна перейти від випадкової величини до деякої іншої випадкової величини, , закон розподілу якої залежить від даних вибірки і закону розподілу випадкової величини , але не залежить від невідомих параметрів.

Наприклад, доведено (див. лекцію 23), що при нормальному розподілі випадкової величини випадкова величина

, (24.5)

 Лекція 24

де , розподілена за законом Стьюдента з ступенями вільності і щільністю

, (24.6)

де – гама-функція.

Випадкова величина

(24.7)

має розподіл з ступенями вільності, щільністю

. (24.8)

При побудові відповідних рівню надійності надійних інтервалів для невідомих параметрів розподілу з щільністю використовують їх оцінки і .