Дисперсии и стандартные ошибки коэффициентов

Знание дисперсий и стандартных ошибок позволяет анализировать точность оценок, строить доверительные интервалы для теоретических коэффициентов, проверять соответствующие гипотезы. Наиболее удобно формулы расчета данных характеристик приводить в матричной форме. Три первые предпосылки МНК в матричной форме будут иметь вид:

1. ;

2. ;

3. .

Здесь .

Как показано выше, эмпирические коэффициенты множественной линейной регрессии определяются по формуле .

Подставляя теоретические значения в данное соотношение, имеем:

,

следовательно оценки параметров содержат случайные ошибки.

Математическое ожидание оценки равно оцениваемому параметру , т.е. , т.к. .

Вариации оценок параметров будут в конечном счете определять точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматривают ковариационную матрицу вектора оценок параметров, являющуюся матричным аналогом дисперсии одной переменной:

,

где элементы - ковариации оценок параметров и . Ковариация двух переменных определяется как математическое ожидание произведения отклонения этих переменных от их математических ожиданий, учитывая что , имеем

.

Ковариация характеризует как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

, здесь - й диагональный элемент матрицы .

Поскольку истинное значение дисперсии по выборке определить невозможно, оно заменяется соответствующей несмещенной оценкой

.

(6.26)

где т — количество объясняющих переменных модели. Отметим, что иногда в формуле (6.26) знаменатель представляют в виде , подразумевая под k число параметров модели (подлежащих определению коэффициентов регрессии).

Следовательно, по выборке мы можем определить лишь выборочные дисперсии эмпирических коэффициентов регрессии:

, .

(6.26)

Как и в случае парной регрессии, называется стандартной ошибкой регрессии. называется стандартной ошибкой коэффициента регрессии.

Интервальные оценки коэффициентов теоретического уравнения регрессии

По аналогии с парной регрессией после определения точечных оценок коэффициентов (j=0, 1, ..., т) теоретического уравнения регрессии могут быть рассчитаны интервальные оценки указанных коэффициентов. Для построения интервальной оценки коэффициента строится t-статистика

,

(6.27)

имеющая распределение Стьюдента с числом степеней свободы (n — объем выборки, т — количество объясняющих переменных в модели). По таблице критических точек распределения Стьюдента по требуемому уровню значимости и числу степеней свободы находят критическую точку , удовлетворяющую условию

.

(6.28)

Подставляя (6.27) в (6.28), получаем

,

здесь . Таким образом, доверительный интервал, накрывающий с надежностью неизвестные значения , определяется неравенством

.

(6.29)

По аналогии с парной регрессией может быть построена интервальная оценка для среднего значения предсказания в матричной форме:

(6.30)