Лекція 6. Особливі випадки в багатофакторному регресійному аналізі.

1. Основні критерії перевірки адекватності моделій

Крім графічних, існує досить багато процедур, призначених для перевірки виконання стандартних припущень про лінійну модель спостережень, що використовують статистичні критерії перевірки гіпотез. Ми зупинимося тільки на декількох таких процедурах. У кожній із цих процедур як нульова гіпотеза береться гіпотеза

 .

Однак пристосовані відповідні критерії для виявлення специфічних порушень стандартних припущень, що робить кожний із критеріїв особливо чутливим саме до тих порушенням, на які він «настроєний».

Критерій Голдфелда-Квандта (Goldfeld-Quandt). Якщо графічний аналіз залишків указує на можливу неоднорідність дисперсій помилок , то

спостереження, наскільки це можливо, упорядковують у порядку передбачуваного зростання дисперсій випадкових помилок;

відкидають центральних спостережень (для більше надійного поділу груп з малими й більшими дисперсіями випадкових помилок), так що для подальшого аналізу залишається спостережень;

роблять оцінювання обраної моделі окремо по першим і за останніми спостереженнями;

обчислюють відношення залишкових сум квадратів, отриманих при підборі моделі по останнім (залишкова сумаа квадратів ) і по першим (залишкова сумаа квадратів ) спостереженням.

При ухваленні рішення враховують, що якщо все-таки , (дисперсії однорідні) і виконані інші стандартні припущення про модель спостережень, включаючи припущення про нормальність помилок, те тоді відношення

має — розподіл Фишера з

і ступенями волі.

Гіпотеза

, (дисперсії однорідні)

відкидається, якщо обчислене значення -відносини «занадто велике», тобто перевищує критичний рівень

відповідному обраному рівню значимості .

Критерій Дарбина-Уотсона (Durbin-Watson). Цей критерій застосовується, коли спостереження виробляються послідовно в часі, з рівними інтервалами, і графік зміни залишків у часі вказує на наявність автокоррелированности випадкової тридцятимільйонної моделі спостережень. Передбачається, що ця автокоррелированность визначається співвідношенням

де , а — незалежні в сукупності випадкові величини, що мають однаковий нормальний розподіл , причому не залежить статистично від для .

Статистика Дарбина-Уотсона визначається співвідношенням

де — залишки, одержувані при оцінюванні лінійної моделі спостережень.

Як нульова гіпотеза тут береться гіпотеза

відповідна (при нашім припущенні про нормальність розподілу випадкових помилок) незалежності в сукупності випадкових величин . У якості альтернативної при аналізі економічних даних найчастіше використовують гіпотезу

відповідну позитивної автокоррелированности випадкових величин (тобто тенденції переважного збереження знака випадкової помилки при переході від -го спостереження до -му).

Статистика приймає значення в інтервалі від до . Розглянута як випадкова величина вона має при гіпотезі (тобто якщо ця гіпотеза вірна) функцію щільності , симетричну щодо крапки — середини цього інтервалу. Якщо в дійсності то тоді значення статистики тяжіють до лівої границі інтервалу. Тому, відповідно до загального підходу до побудови однобічних статистичних критеріїв, ми повинні були б для обраного нами рівня значимості знайти відповідне йому критичне значення й відкидати гіпотезу на користь при виконанні нерівності .

Однак розподіл статистики Дарбина-Уотсона залежить не тільки від і , але також і від конкретних значень пояснюючих змінних, що робить нездійсненним побудову таблиць критичних значень цього розподілу. Дарбин і Уотсон перебороли це утруднення в такий спосіб. Вони знайшли (при різних значеннях і ) нижню й верхню границі інтервалу, у якому тільки й можуть перебувати критичні значення статистики Дарбина-Уотсона, незалежно від того, які конкретні значення . Іншими словами,

де й не залежать від конкретних значень , а визначаються тільки кількістю спостережень, кількістю пояснюючих змінних і встановленим рівнем значимості критерію.

Гіпотеза

відкидається на користь гіпотези , якщо ;

не відкидається, якщо .

Якщо ж

те ніякого висновку щодо справедливості або несправедливості гіпотези не робиться.

При дотриманні цих правил імовірність помилкового відкидання гіпотези не перевершує заданого рівня значимості .

Критерій Жаркий-Бера (Jarque-Bera). Цей критерій використовується в ряді пакетів статистичного аналізу даних (наприклад, в EVIEWS) для перевірки гіпотези нормальності помилок у моделі спостережень, точніше,



(значення не конкретизується). Якщо ця гіпотеза вірна,то при великій кількості спостережень статистика

має розподіл, близьке до розподілу хі-квадрат із двома ступенями волі , функція щільності якого має вигляд

Тут «sample skewness» — вибірковий коефіцієнт асиметрії,

«sample kurtosis» — вибірковий коефіцієнт ексцесу,

де

і — залишки, отримані при оцінюванні моделі.

Якщо розподіл помилок дійсно є нормальним, то значення вибіркового коефіцієнта асиметрії близькі до нуля, а значення вибіркового коефіцієнта ексцесу близькі до .

Істотна відмінність вибіркового коефіцієнта асиметрії від нуля вказує на несиметричність (щодо нуля) графіка функції щільності розподілу помилок («скошеність» розподілу). Істотна відмінність від  вибіркового коефіцієнта ексцесу вказує на не характерні для нормального розподілу «островершинность» (при значенні цього коефіцієнта, більшому трьох) або зайву «сглаженность» (при значенні цього коефіцієнта, меншому трьох) графіка функції щільності розподілу помилок.

При порушенні умови нормальності розподілу помилок значення статистики мають тенденцію до зростання. Тому гіпотеза нормальності помилок відкидається, якщо значення цієї статистики «занадто великі», а саме, якщо

де — квантиль розподілу , що відповідає рівню .

Зауваження. Критерії Дарбина-Уотсона й Голдфелда-Квандта є точними, у тому розумінні, що вони безпосередньо враховують кількість спостережень . На противагу цьому, критерій Жаркий-Бера є асимптотическим критерієм: розподіл статистики добре наближається розподілом тільки при великій кількості спостережень. Тому цілком покладатися на результати застосування критерію Жарка-Бера можна тільки в таких ситуаціях. Крім критерію Жарка-Бера в спеціалізовані пакети програм статистичного аналізу даних часто вбудовуються й інші асимптотические критерії, наприклад, критерії Уайта й Бройша-Годфри, які розглядаються нижче.

Критерій Бройша-Годфри (Breusch-Godfrey). Цей критерій використовується в ряді пакетів статистичного аналізу даних (наприклад, в EVIEWS) для перевірки гіпотези некоррелированности помилок у моделі спостережень

При наших припущеннях це відповідає гіпотезі незалежності в сукупності випадкових величин Нагадаємо, що критерій Дарбина — Уотсона заснований на розгляді моделі спостережень, у якій випадковіі тридцятилітні зв'язані співвідношенням

де , а — незалежні в сукупності випадкові величини, що мають однаковий нормальний розподіл . У такій моделі спостережень випадкові тридцятимільйонні , розділені двома або більше періодами часу й очищені від впливу проміжних , виявляються незалежними.

Критерій Бройша-Годфри допускає залежність випадкових тридцятимільйонних , розділеними періодами часу й також очищених від впливу проміжних ; відповідна модель залежності має вигляд

Статистика цього критерію дорівнює , де - коефіцієнт детермінації, одержуваний при оцінюванні моделі

а - залишки, отримані при оцінюванні основної моделі спостережень. (Відсутні значення заміняються нулями.)

У рамках останньої моделі перевіряється гіпотеза

Якщо ця гіпотеза вірна, то при великій кількості спостережень статистика критерію має розподіл, близьке до розподілу хі-квадрат зі ступенями волі. Гіпотеза відкидається при заданому рівні значимості , якщо обчислене значення перевищує критичне значення, рівне квантили рівня зазначеного розподілу, тобто якщо

Звичайно, при інтерпретації результатів застосування критерію Бройша-Годфри варто пам'ятати, що цей критерій асимптотический, тоді як критерій Дарбина-Уотсона точний. Однак можливість застосування критерію Дарбина-Уотсона обмежується тим, що

він допускає залежність «очищених» випадкових помилок тільки на один крок, тобто ;

він незастосовний у ситуаціях, коли в число пояснюючих змінних включаються запізнілі значення пояснюва_ змінної.

Критерій же Бройша-Годфри вільний від цих обмежень.

Критерій Уайта (White). Цей критерій використовується в ряді пакетів статистичного аналізу даних (наприклад, в EVIEWS) для перевірки однорідності дисперсій помилок у моделі спостережень

Критерій має два варіанти.

Варіант I. У рамках моделі

де - залишки, отримані при оцінюванні основної моделі спостережень, перевіряється гіпотеза

Статистика критерію дорівнює , де - коефіцієнт детермінації, одержуваний при оцінюванні останньої моделі.

Якщо зазначена гіпотеза вірна, то при великій кількості спостережень статистика критерію має розподіл, близьке до розподілу хі-квадрат зі ступенями волі. Гіпотеза відкидається при заданому рівні значимості , якщо обчислене значення перевищує критичне значення, рівне квантили рівня зазначеного розподілу, тобто якщо

Варіант II. У рамках моделі

де - залишки, отримані при оцінюванні основної моделі спостережень, перевіряється гіпотеза

Статистика критерію дорівнює , де - коефіцієнт детермінації, одержуваний при оцінюванні останньої моделі.

Якщо зазначена гіпотеза вірна, то при великій кількості спостережень статистика критерію має розподіл, близьке до розподілу хі-квадрат зі ступенями волі. Гіпотеза відкидається при заданому рівні значимості , якщо обчислене значення перевищує критичне значення, рівне квантили рівня зазначеного розподілу, тобто якщо

Як і у випадку критерію Бройша-Годфри, при інтерпретації результатів застосування обох варіантів критерію Уайта варто пам'ятати, що цей критерій асимптотический.

Зауваження. При описі критеріїв Уайта ми неявно припускали, що . Якщо постійна не включена у вихідну модель спостережень, то в моделях, оцінюваних на другому кроці обох варіантів критерію Уайта, підсумовування варто робити, починаючи с.