Оценивание параметров линейной регрессии

Рассмотрим модель множественной линейной регрессии:

y_i=β₀ + β₁x₁ +…+β_mx_m +ε_i ,

где β₀ , β₁, …,β_m –неизвестные параметры регрессии; ε₁, …, ε_n – независимые случайные величины, ε_i ~N(0, σ²), i=1-n.

При построении оценок неизвестных параметров регрессии можно отказаться от предположения о нормальности, а предположение о независимости заменить на предположение о некоррелируемости.

Обозначим через b₀ , b₁, …,b_m мнк-оценки (оценки метода наименьших квадратов) неизвестных параметров β₀ , β₁, …,β_m , т.е. оценки, обеспечивающие минимум суммы квадратов отклонений значений зависимой переменной от регрессии

,

которая является мерой ошибки предсказания зависимой переменной Y с помощью модели множественной линейной регрессии по независимым переменным X₁, …, X_m. Оценкой функции регрессии будет зависимость

.

В случае, когда m=1, модель множественной линейной регрессии записывается в виде

, (*)

и называется простой линейной регрессией

Можно доказать, что мнк-оценки b₀ , b₁, …,b_m, линейно зависят от наблюдений зависимой переменной Y.

Статистический анализ уравнения регрессии

Любая программа регрессионного анализа строит таблицу дисперсионного анализа, на основании которой мы судим о качестве построенной модели (табл. 1. Обозначения: через SS_D обозначается обусловленная регрессией сумма квадратов, SS_R - сумма квадратов отклонений от линии регрессии или остаточная сумма квадратов (сумма квадратов остатков), SS_T - полная сумма квадратов. На рис. 1 дана графическая иллюстрация слагаемых сумм квадратов в случае простой линейной регрессии. Если SS_R=0, то все экспериментальные точки лежат на линии регрессии - прямой наименьших квадратов , а если SS_D=0, то наилучшее предсказание Y осуществляется моделью .

Можно показать, что - несмещенная и состоятельная оценка для дисперсии зависимой переменной.

Величину называют стандартной ошибкой оценки зависимой переменной (standard error of estimate).

Верно замечательное свойство таблицы дисперсионного анализа

Отношение есть доля вариации , объясняемой регрессией по . Это отношение называется коэффициентом детерминации. Коэффициент детерминации является мерой качества предсказаний значений зависимой переменной моделью множественной линейной регрессии. Если он равен 1 (т. е. ), то экспериментальные точки в точности лежат на линии регрессии. А если коэффициент детерминации равен 0 (т. е. , a ), то наилучшее предсказание осуществляется моделью , т. е. «не зависит» от .

Можно показать в случае множественной линейной регрессии, что

, а в случае простой линейной регрессии , где есть выборочный множественный коэффициент корреляции между и (определение множественного коэффициента корреляции дается ниже), а — выборочный коэффициент корреляции между и . Для мнк-оценок множественный коэффициент корреляции будет задаваться простой корреляцией между и .

Если верна модель (*), то: является несмещенной оценкой для дисперсии ошибки наблюдений σ²; SS_T/(n-1) – оценкой дисперсии Y.