 Лекція 3

Лекція 3 Статистична оцінка характеристик розподілу генеральної

сукупності

1. Статистична оцінка характеристик розподілу генеральної

сукупності за вибіркою

2. Точкові оцінки параметрів розподілу і їх властивості

3. Метод максимальної правдоподібності

4. Метод моментів

1. Статистична оцінка характеристик розподілу генеральної

сукупності за вибіркою

Одним із завдань математичної статистики є встановлення параметрів розподілу генеральної сукупності за вибіркою.

Вибірку можна вважати реалізацією випадкового вектора , всі координати якого мають той самий закон розподілу, що й генеральна сукупність.

Отже, будь-яка числова характеристика вибірки є реалізація випадкової величини, яка змінюється від вибірки до вибірки. Таку випадкову величину називають вибірковою функцією, або статистикою.

Статистику, що використовується для отримання оцінки невідомого параметру розподілу генеральної сукупності називають точковою оцінкою.

Наприклад, вибіркове середнє може бути точковою оцінкою математичного сподівання генеральної сукупності, а дисперсії вибірки і є точковими оцінками для дисперсії генеральної сукупності.

Нехай надалі – точкова оцінка параметру а генеральної сукупності.

Для невідомого параметру а може існувати декілька числових характеристик вибірки, тобто, точкових оцінок. Серед них вибирають ту, яка задовольняє певним умовам. Таких умов є декілька, серед яких розглядають такі: незміщенність, асимптотична незміщенність, конзистентність, ефективність, обґрунтованість.

Точкову оцінку називають незміщенною оцінкою для а , якщо

.

Статистична оцінка характеристик розподілу 

Послідовність оцінок , де – об’єм вибірки, називають асимпто-

тично незміщенною послідовністю оцінок параметру а , , при .

Послідовність оцінок , де n – об’єм вибірки, називають конзистентною послідовністю оцінок параметру а, якщо

при .

Оцінку називають ефективнішою, ніж оцінка , якщо

.

Оцінку називають обгрунтованою оцінкою для а, якщо при вона збігається за ймовірністю до а, тобто

.

Приклад 3.1

Нехай – вибірка з генеральної сукупності зі щільністю розподілу

Розглянемо оцінки .

Які з цих оцінок є незміщенними та конзистентними, і для яких параметрів?

Розглянемо спочатку розподіл оцінки .

Оскільки вибірку одержано з рівномірного на [a, b] розподілу , то це означає, що кожна координата випадкового вектора розподілена рівномірно на [a, b]. Тому функція розподілу для має вигляд

.

 Лекція 3

Остання рівність випливає з незалежності випадкових величин . Далі, за абсолютною неперервністю випадкових величин ,

.

Тоді, за теоремою Барроу, для щільності випадкової величини маємо :

.

Обчислюємо

Тому

Маючи щільність точкової оцінки , обчислимо

Отже, точкова оцінка не може бути незміщенною оцінкою ні для а, ні для b .

Розглядаючи границю

– маємо асимптотичну незміщеність для параметра b .

Статистична оцінка характеристик розподілу 

Оскільки

=

.

Отже, є козистентною оцінкою для параметра b.

Для оцінки провівши аналогічні дослідження, отримуємо щільність

та математичне сподівання

.

Звідки робимо висновок, що не є незміщенною оцінкою ні для а, ні для b , хоча є асимптотичною незміщенною для а.

Для оцінки аналогічно встановлюємо конзистентність для параметру а.

Розглянемо оцінку .

Обчислюючи математичне сподівання , маємо

.

 Лекція 3

Оскільки розподілені рівномірно на [ а, b ] , то .

Отже,

.

Отже, є незміщенною оцінкою для математичного сподівання генеральної сукупності.

Як відомо, за законом великих чисел, тому є конзистентною і обгрунтованою оцінкою для .

Для оцінки маємо

.

Отже, оцінка є незміщенною для параметра .

Але не збігається за ймовірністю до жодної константи (параметру). Дійсно, оскільки щільність для має вигляд

( отримано як згортку двох рівномірних на [a, b] розподілів), то збіжність за ймовірністю до константи с приводить до обчислень

.

Статистична оцінка характеристик розподілу 

Остання сума інтегралів дорівнює площі заштрихованої фігури на рис. 3.1.

Рис. 3.1

Отже, ця площа не прямує до нуля при .

3.3 Оцінки мінімальної дисперсії. Нерівність Крамера-Рао

При оцінюванні параметрів розподілів виникає основне питання-наскільки велика похибка при заміні параметра оцінкою . Нагадаємо, що похибку ми домовились вимірювати величиною .

Для незміщених оцінок параметру ( тобто таких, що ), що мають задану дисперсію, похибка набуває мінімально можливих значень і збігається з дисперсією . Очевидно, що можна запропонувати багато оцінок для оцінювання параметра таких, що . ( див. Приклад 3.1 ).

Зі сукупності таких оцінок для оцінювання параметру природно вибрати ті, котрі мають мінімально можливу міру розсіювання, тобто дисперсію.

Незміщенну оцінку пераметру називають найкращою незміщенною оцінкою параметру або ефективною, якщо

,

.

 Лекція 3

Природно виникає питання: наскільки малою може бути мінімально можлива дисперсія оцінки, тобто наскільки малими можуть бути відхилення від ?

Відповідь на це питання, за умови регулярної залежності розподілів вибірки від оцінюваного параметра , дає нерівність Крамера-Рао. В деяких випадках існують оцінки параметру, на яких досягається нижня межа. Ці оцінки і є ефективними оцінками. Ефективні оцінки мають мінімально можливе розсіювання відносно оцінюваного параметру. Порівнявши дисперсію даної оцінки з нижньою межею дисперсій незміщенних оцінок, можна зробити висновок про те, наскільки дана оцінка близька до найкращої можливої.

Розглянемо спочатку випадок, коли вибірка задається щільністю розподілу . Параметр будемо вважати одновимірним, а множину його можливих значень – скінченним інтервалом числової прямої.

Лема 3.1 Якщо для майже всіх існують похідні

і , ,

мажоровані інтегрованими функціями

і , ,

і виконуються умови

, ,

то математичне сподівання випадкової величини дорівнює нулеві, а дисперсія дорівнює - .

Означення 3.1 . Функцію ,

якщо вона визначена, називають кількістю інформації за Фішером.

Статистична оцінка характеристик розподілу 

Теорема 3.1 ( Нерівність Крамера-Рао )

Нехай виконуються умови леми, – незміщенна оцінка параметру така, що для майже всіх функція диференційована по і , мажорована інтегрованою функцією .

Тоді

,

причому знак рівності в має місце тоді і тільки тоді, коли

.

Наслідок 1

Якщо для оцінки нерівність Крамера-Рао перетворюється в нерівність, то оцінка є ефективною оцінкою параметру .

Наслідок 2

Якщо статистика задовольняє умову

,

то – незміщена оцінка параметра .

Наслідок 3

Нехай – вибірка з розподілу з щільністю ; для виконуються умови леми; – переміщена оцінка і для майже всіх функція диференційована по і її похідна мажорована інтегрованою функцією. Тоді нерівність Крамера-Рао можна записати у вигляді

.

З нерівності Крамера-Рао для вибірки з даного розподілу випливає, що нижня межа дисперсій незміщенних оцінок при має порядок .

 Лекція 3

Розглянемо тепер випадок, коли розподіл вибірки є дискретним, тобто існує зліченна множина точок , для яких

, .

Усі наведені вище твердження мають місце і у випадку дискретного розподілу.

Лема 3.2 Якщо для всіх – існують похідні

і , ,

ряди

і

збігаються абсолютно та рівномірно відносно і задовольняються нерівності

, ,

то математичне сподівання випадкової величини дорівнює нулеві, а дисперсія дорівнює - .

Теорема 3.2 ( нерівність Крамера-Рао )

Нехай задовольняються умови леми і – незміщенна оцінка параметра така, що ряд збігається абсолютно та рівномірно.

Тоді

,

де ,

причому знак рівності має місце тоді і тільки тоді, коли

.

Статистична оцінка характеристик розподілу 

Наслідок

Нехай – вибірка з дискретного розподілу, тобто зчисленна множина точок , для яких задовольняють умови леми: – незміщенна оцінка і для майже всіх функція диференційована по , , а ряд

збігається абсолютно і рівномірно відносно .

Тоді нерівність Крамера-Рао можна записати у вигляді

.

Зауважимо, що умови регулярності :

а) щільність розподілу вибірки така, що область, де для всіх , не залежить від параметра ;

б) співвідношення

можна двічі диференціювати під знаком інтегралу, а співвідношення

можна один раз диференціювати під знаком інтегралу;

в) , при ,

виконуються для найбільш вживаних статистик номального, біномного і пуассонівського розподілів.

 Лекція 3

Незміщенну оцінку називають асимптотично ефективною оцінкою параметра , якщо

.

Приклад 3.2

Нехай – вибірка з нормально розподіленої генеральної сукупності з параметрами , належить проміжку .

Чи оцінка є ефективною оцінкою параметру ?

Відомо, що оцінка є незміщенною оцінкою математичного сподівання нормального розподілу, тобто параметра .

Перевіримо виконання умов леми. Функція – двічі диференційована по і для похідних , , при існують

інтегровані мажоранти і .

Далі

; ; ,

.

Тоді інформація Фішера

.

За теоремою Фубіні існує інтегрована мажоранта для функції

Статистична оцінка характеристик розподілу 

.

Оскільки

.

Отже, задовольняються всі умови нерівності Крамера-Рао, тому для будь-якої незміщенної оцінки параметра , зокрема, і для ,

,

Але для і нерівність Крамера-Рао перетворюється на рівність, а тому оцінка є ефективною оцінкою параметра . 

Приклад 3.3

Нехай – вибірка з генеральної сукупності розподіленої за законом Пуассона з параметром , де належить скінченному проміжку . Чи оцінка є ефективною?

Пуассонівський розподіл

при задовольняє умови теореми.

Дійсно: похідні ; існують;

ряди ; збігаються абсолютно і рівномірно;

;

 Лекція 3

;

;

.

Тоді інформація Фішера дорівнює

.

Ряд

.

є скінченною сумою рядів, кожний з яких є добутком рядів, які збігаються абсолютно і рівномірно відносно . Тому і сам ряд збігається абсолютно і рівномірно.

Отже, умови нерівності Крамера-Рао задовольняються , тому для будь-якої незміщенної оцінки параметру , зокрема, і для оцінки ,

.

Статистична оцінка характеристик розподілу 

Але .

Так, що для нерівність перетворюється на рівність, а отже, оцінка є незміщенною. 