3. Теорема Гаусса-Маркова.

Предположим, что:

1. ;

2. Х – детерминированная матрица , имеющая максимальный ранг k;

3. ; .

Тогда оценка МНК является наиболее эффективной (в смысле наименьшей дисперсии) оценкой в классе линейных несмещенных оценок.

Доказательство:

Обозначим , . Любую другую оценку можно представить в виде , где С – некоторая матрица.

Докажем несмещенность оценок.

.

Так как оценка должна быть несмещенной, то

.

Используя СХ = 0, получим

(так как AX = E и СХ = 0).

Вычислим ковариационную матрицу вектора b.

.

Таким образом, или .

Теорема доказана.

4. Коэффициент детерминации, скорректированный коэффициент детерминации.

Для оценки взаимосвязи между зависимой переменной и совокупностью объясняющих переменных используют множественный (совокупный) коэффициент (индекс) корреляции R или коэффициент детерминации R². Как и раньше коэффициент детерминации R² равен отношению и характеризует долю вариации зависимой переменной, объясненную уравнением регрессии, . Для расчета можно использовать более удобную формулу:

или или ,

где - определитель матрицы парных коэффициентов корреляции, q₁₁ – алгебраическое дополнение элемента r₁₁.

Множественный коэффициент детерминации можно рассматривать как меру качества уравнения регрессии, характеристику прогностической силы регрессионной модели. Чем ближе R² к 1, тем лучше регрессия описывает зависимость между объясняющими и зависимой переменными.

Недостаток R² состоит в том, что его значение не убывает с ростом числа объясняющих переменных. Это происходит потому, что:

1) оптимизация при определении оценок происходит по критерию, отличному от R^2;

2) R² возрастает при добавлении ещё одного регрессора и всегда можно добиться R² = 1, что не будет иметь экономического смысла.

В этом смысле предпочтительней скорректированный коэффициент детерминации

,

который может уменьшаться при введении в регрессионную модель переменных, не оказывающих существенного влияния на зависимую переменную. Можно заметить, что только при R² = 1. может принимать отрицательные значения (например, при R² = 0). Для расчета можно использовать формулу:

.

Пример. Вычислим коэффициент детерминации и скорректированный коэффициент детерминации = ; R = 0,967.

5. Частная корреляция.

В случае парной регрессии естественной мерой зависимости (линейной) является выборочный коэффициент корреляции между переменными. Использование многомерной регрессии позволяет обобщить это понятие на случай, когда имеется несколько независимых переменных. Корректировка здесь необходима по следующим соображениям: высокое значение коэффициента корреляции между исследуемой зависимой и какой-либо независимой переменной может означать высокую степень зависимости, но может быть обусловлено и другой причиной. Имеется третья переменная, которая оказывает сильное влияние на две первые, что и является причиной высокой корреляции.

Поэтому возникает естественная задача найти «чистую» корреляцию между двумя переменными, исключив (линейное) влияние других факторов. Это можно сделать с помощью коэффициента частной корреляции.

Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

Пусть , - соответствующие остаточные дисперсии регрессий Y на X₁ и Y на X₁, X₂. Влияние фактора X₂ на результат можно определить коэффициентом частной корреляции

, .

Можно получить другую формулу коэффициента частной корреляции:

,

Или , .

Рассмотренные показатели частной корреляции называют коэффициентами частной корреляции 1-го порядка, так как они фиксируют тесноту связи двух переменных при закреплении (элиминировании) влияния одного фактора. Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Коэффициенты парной корреляции называют коэффициентами нулевого порядка. Если рассматривается регрессия с числом факторов р, то возможны частные коэффициенты корреляции 1-го, 2-го, …, (р-1)-го порядков, т.е. влияние, например, х₁ можно оценить при разных условиях независимости действия других факторов: , , . Сопоставление коэффициентов частной корреляции разного порядка по мере увеличения числа включаемых факторов показывает процесс «очищения» зависимости результативного признака с исследуемым фактором.

Выборочным частным коэффициентом корреляции между переменными x_i и x_j при фиксированных значениях остальных (р-2) переменных называют выражение

,

где - алгебраические дополнения элементов матрицы выборочных коэффициентов корреляции. Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:

.

В частности, при трех факторах возможно вычисление трех коэффициентов частной корреляции 2-го порядка: , , , например,

.

Например. Составим матрицу Q парных коэффициентов корреляции, частные коэффициенты корреляции.

; ; ; ; det(Q)=0,04823; q₁₁ = 1-0,497² = 0,75299;

R = . .

; ; .

Сравнивая частные коэффициенты корреляции с соответствующими парными коэффициентами, видим, что за счет «очищения» связи наибольшему изменению подвергся коэффициент корреляции между х₁ и х₂: был 0,497 – стал -0,185. Это пример ложной корреляции, так как х₁ – мощность пласта не может зависеть от х₂ – уровня механизации. А коэффициенты корреляции между у и х₁, у и х₂ после «очищения» несколько снизились от 0,963 до 0,952 и от 0,599 до 0,344, что по-видимому, соответствует действительности.

Зная частные коэффициенты корреляции, можно определить совокупный коэффициент корреляции по формуле:

.