42. Линейный множественный регрессионный анализ

Задача линейного множественного регрессионного анализа состоит в построении такого уравнения плоскости в (р + 1)-мерном пространстве, отклонение результатов наблюдений уi от которой были бы минимальными. Другими словами, следует вычислить значения коэффициентов b0, b1, …, bp в линейном полиноме

,

Таким образом, чтобы минимизировать выражение

,

где  – предсказанные значения функции отклика по модели.

Для отыскания минимума указанного выражения необходимо найти частные производные по всем неизвестным коэффициентам b0, b1,…, bp и приравнять их к нулю. Полученные уравнения образуют систему нормальных уравнений

Введем обозначение

,  и  ,

тогда систему можно записать в матричной форме

,

где XT – матрица, транспонированная к матрице Х. Для решения системы нормальных уравнений в матричной форме следует умножить ее слева на матрицу, обратную матрице системы нормальных уравнений, если она существует т.е.

,

но  , следовательно, столбец коэффициентов можно найти по выражению

 

 

После определения коэффициентов b0, b1, …, bp и построения уравнения регрессии необходимо проверить его статистическую значимость при помощи критерия Фишера и статистическую значимость каждого bi( ) при помощи критерия Стьюдента. При необходимости можно построить доверительные интервалы истинных значений коэффициентов регрессии.

Адекватность регрессионной модели можно повысить, увеличивая степень полинома. Однако для полиномов высоких степеней при проведении матричных операций на вычислительной машине накапливаются столь значительные вычислительные погрешности округления, что решение становится практически невозможным. Поэтому обычно ограничиваются построением полинома второго порядка и проведением пошагового регрессионного анализа с включением или исключением переменных.

43. Проверка значимости множественного уравнения регрессии

Проверить значимость уравнения регрессии – значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Проверка значимости уравнения регрессии производится на основе дисперсионного анализа.

В математической статистике дисперсионный анализ рассмотрен как самостоятельный метод статистического анализа. Здесь же он применяется как вспомогательное средство для изучения качества регрессионной модели.

Обозначим   Согласно основной идее дисперсионного анализа

 или

 

где Q – общая сумма квадратов отклонений зависимой переменной от средней, а Q_R и Qe - соответственно сумма квадратов, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов.

Убедимся в том, что третье слагаемое   равно 0. Имеем:

 ,

 .

Теперь

 

Схема дисперсионного анализа имеет вид, представленный в таблице.

 

Компоненты дисперсии	Сумма квадратов	Число степеней свободы	Средние квадраты
Регрессия		m-1
Остаточная		n-m
Общая		n-1

Средние квадраты   и   представляют собой несмещенные оценки дисперсий зависимой переменной, обусловленных соответственно регрессией или объясняющей переменной Х ивоздействием неучтенных случайных факторов и ошибок; m – число оцениваемых параметров уравнения регрессии; n – число наблюдений.

При отсутствии линейной зависимости между зависимой и объясняющими переменными случайные величины   и   имеют   - распределение соответственно с m-1 и n-m степенями свободы, а их отношение – F- распределение с теми же степенями свободы. Поэтому уравнение регрессии значимо на уровне   , если фактически наблюдаемое значение статистики

 ,

где   - табличное значение критерия Фишера, определенное на уровне значимости   при k1=m-1 и k2=n-m степенях свободы.

В случае линейной парной регрессии m=2, и уравнение регрессии значимо на уровне   , если

 

Мерой качества регрессионной модели, характеристикой прогностической силы регрессионной модели является коэффициент детерминации, определяемый по формуле

 

Величина R2 показывает, какая часть (доля) вариации зависимой переменной обусловлена вариацией объясняющей переменной.

 

Так как   , то   .

Чем ближе   к единице, тем лучше регрессия аппроксимирует эмпирические данные, тем теснее наблюдения примыкают к линейной регрессии. Если   =1, то эмпирические точки (xi,yi) лежат на линии регрессии и между переменными Y и X существует линейная функциональная зависимость. Если   =0, то вариация зависимой переменной полностью обусловлена воздействием неучтенных в модели переменных, и линия регрессии параллельна оси абсцисс.

Средняя ошибка аппроксимации

Еще одним показателем качества построенной регрессионной зависимости является средняя ошибка аппроксимации, которая вычисляется по формуле

Эта величина представляет собой среднюю относительную ошибку.