Основний результат

М и часто будемо використовувати наступний результат, що стосується методу найменших квадратів. Нехай м атриця рангу , така що , , бо виходить з останньої перестановки стовпців. Тоді рівняння означає, що кілька компонент вектора γ дорівнюють нулю. Справедлива наступна теорема:

Т еорема 14.1. МНК-оцінка параметрів β і γ в лінійній моделі (1) при обмеженні має вигляд

де

є симетричними ідемпотентними m×m матрицями рангів відповідно. (Р_і = 0 в тому випадку, якщо r_i = 0) Вектор залишків має вигляд

де

є симетричною ідемпотентною матрицею, рангу (n-k-m+r_i). Оцінка має нормальний розподіл

а величина має нецентральний X²-розподіл

Pretest-оцінка

Розглянемо найпростіший випадок, коли у нас є тільки один допоміжний регресор, тобто m= 1. Ми можемо вибирати між двома моделями: моделлю з обмеженням (γ = 0) і моделлю без обмеження. У тому випадку, якщо ми вибираємо модель з обмеженням, ми отримуємо оцінку параметра рівну Якщо ми вибираємо модель без обмеження, то отримуємо оцінку . Зазвичай ми використовуємо t-статистику коефіцієнта γ для того, щоб зробити вибір між цими двома моделями. Таким чином, оцінка параметра β має наступний вигляд:

д ля деякого порогового значення с>= 0. Наприклад, с = 1.96 і с = 2.58 відповідають 5%-ому і 1%-ому рівнях значущості (для нормального розподілу; для розподілу Стьюдента значення с дещо вище). Підкреслимо, що оцінка не збігається з оцінками або , але рівна тій чи іншій залежно від критерію, основаного на значенні випадкової величини t. Наведемо інший спосіб запису оцінки: де

Таким чином, оцінка є зваженим середнім оцінок з випадковою вагою λ.

У разі m = 2 у нас є чотири моделі: модель з обмеженням (γ₁=γ₂ = 0), дві моделі з частковими обмеженнями ( або ) і модель без обмежень . У загальному випадку маємо 2^m різних моделей, по одній для кожної підмножини параметрів γ₁, ... , γ_m . (Мається на увазі, що параметри з підмножини прирівняні до 0) Рretest- оцінка вектора параметрів β виходить в результаті 1) вибору однієї з цих моделей (на основі t- чи F- тестів або інших критеріїв вибору моделі) 2) оцінювання β по обраної моделі.

Ми припустимо, що критерій вибору моделі залежить від у тільки через Му, залишки в моделі з обмеженнями. Ця умова виконана у всіх стандартних процедурах відбору моделей. (Зауважимо, що залишки в i-q моделі завжди виражаються як для деякої ідемпотентної матриці- .) Це припущення приводить до істотних спрощень.

WALS-оцінка

Поняття pretest-оцінки допускає природне і, як буде показано нижче, корисне узагальнення. Як і раніше, розглянемо спочатку випадок m=1. Запишемо оцінку у вигляді , але тепер нехай λ є гладкою зростаючою функцією. Це виглядає розумним підходом і дозволяє нам довільно вибирати рівень значущості. У загальному випадку WALS-оцінка параметра визначається як:

де сума береться по всіх моделях, отриманих при прирівнювання декількох коефіцієнтів γ до нуля.

Ми припускаємо, що вагові коефіцієнти λ_і задовольняють умовb:

WALS-оцінка тоді може бути записана в наступному вигляді:

де

Зауважимо, що хоча матриці P_i , W_i невипадкові, однак матриці P,W випадкові, оскільки {λ_i} є випадковими величинами.

Очевидно, що pretest-оцінка є окремим випадком WALS-оцінки, коли всі λ_i рівні 0, за винятком одного, рівного 1.