3. Статистические свойства вектора оценок коэффициентов регрессии

Выражение (1.8) для вектора оценок коэффициентов регрессии можно представить в эквивалентном виде:

(1.10)

откуда легко находятся статистические характеристики вектора коэффициентов Ь.

1. Математическое ожидание:

М[b] = β. (1.11)

2. Ковариационная матрица (ее диагональные элементы представляют собой дисперсии коэффициентов b₀, b₁, …, b_р):

С_b=σ²(Х^TХ)^-1 (1.12)

4. Теорема Гаусса - Маркова

Если регрессионная модель (1.1) удовлетворяет условиям 1 – 4, 6, то МНК оценка (1.8) имеет наименьшую дисперсию в классе всех линейных несмещенных оценок (является наиболее эффективной).

Несмещенность оценки b следует из выражения (1.11). Наибольшая эффективность оценки доказывается с использованием выражения (1.12) путем рассмотрения любых других несмещенных линейных оценок и определения того факта, что их дисперсии всегда больше дисперсии (1.12).

5. Несмещенные оценки дисперсии ошибок, ковариационной матрицы и дисперсии выборочных коэффициентов регрессии

Несмещенная оценка дисперсии ошибок (несмещенная выборочная остаточная дисперсия) определяется выражением

(1.13)

Как видно из (1.13), несмещенная оценка дисперсии получается путем деления остаточной суммы квадратов Q_e на k = n – р – 1 степеней свободы, поскольку n – число наблюдений, a p + l степени свободы теряются при определении коэффициентов b₀, b₁, …, b_р уравнения регрессии.

Несмещенная оценка матрицы ковариации вектора коэффициентов b получается путем замены в (1.12) неизвестного значения дисперсии возмущения σ² его оценкой (1.13):

, (1.14)

откуда следует, что несмещенные оценки дисперсий коэффициентов b₀, b₁, …, b_р находятся по формуле

, (1.15)

где [(X^TX)^-1]_jj – j-й диагональный элемент матрицы (X^TX)^-1.

Из формулы (1.15) вытекает выражение для стандартных отклонений оценок коэффициентов регрессии (несмещенных оценок средних квадратических отклонений b₀, b₁, …, b_р):

. (1.16)

6. Оценка значимости и доверительных интервалов для коэффициентов регрессии

Пусть – некоторое заданное гипотетическое значение j-го коэффициента регрессии (j = 0, 1,…, р). При оценке значимости коэффициентов регрессии β₀, β₁, ..., β_p формулируются следующие гипотезы.

Основная гипотеза .

Конкурирующая гипотеза .

Статистикой критерия является случайная величина

, (1.17)

которая при условии выполнения гипотезы H₀ имеет распределение Стьюдента (t-распределение) с k = n – р – 1 степенями свободы (рис. 1.1).

Рис. 1.1 Плотность распределения вероятностей Стьюдента с k = 10 степенями свободы

Критическая область, как следует из вида гипотезы H₁, является двусторонней. Уровень значимости определяется выражением

, (1.18)

где – интегральная функция распределения вероятностей, а доверительный уровень находится по формуле

. (1.19)

Критическая точка

t_кр = t_кр (α; k = n – p – 1) (1.20)

находится по статистическим таблицам или с помощью стандартных функций в пакетах прикладных программ.

При значении статистика (1.17) сводится к виду

. (1.21)

и гипотезы при оценке значимости элементов вектора b формулируются следующим образом.

Основная гипотеза принимается в случае, когда , и с уровнем значимости α делается вывод о том, что коэффициент β_j незначим. Альтернативная гипотеза принимается в случае, когда и с уровнем значимости α делается вывод о том, что коэффициент β_j значим.

Величина P-значения определяется по формуле

(1.22)

При этом выполнение неравенства выполнение неравенства означает, что , и принимается основная гипотеза H₀. Если же , то , принимается альтернативная гипотеза Н₁.

Из выражений (1.17), (1.19) следует, что с доверительной вероятностью с доверительной вероятностью γ=1-α истинное значение β_j коэффициента регрессии лежит в интервале

, (1.23)

где и – нижние и верхние g·100%.