Вопросы для самопроверки

1. Сформулируйте задачу регрессионного анализа.

2. Что такое "линия регрессии" и "уравнение регрессии"?

3. Что такое "сопряженные" уравнения и линии регрессии?

4. В чем заключается принцип наименьших квадратов?

5. Как составляется "система нормальных уравнений"?

6. Что такое "коэффициент детерминации"?

7. Чем "коэффициент детерминации" отличается от "индекса детерми­нации"? Перечислите их свойства.

8. Опишите наиболее распространенные двухпараметрические нели­нейные зависимости.

9. Как графически проверить правильность выбора формы связи?

Лекция 15. Проблема значимости и адекватности регрессионной модели Оценка значимости регрессионной модели

В регрессионной модели "полный сигнал" – наблюдаемые значения у – разлагается на две компоненты: "полезный сигнал" – расчетные значения у_р , которые определяются моделью (значениями аргументов х₁ , х₂), и "помеху" – ошибки модели е

у = у_р + е,

где (например, для двухфакторной линейной модели) y_p = b₀ + b₁x₁ + b₂x₂ .

В предыдущей лекции (лекция 14 об основах регрессионного анализа) было показано, что точно такое же разложение имеет общая сумма квадратов отклонений SSy = SSp + SSe. Покажем, что такое же разложение имеет также число степеней свободы dfy = dfp + dfe.

dfy = n – 1, т.к. на n отклонений наложена одна связь – сумма всех этих отклонений равна нулю (центральное свойство среднего).

dfе = n – 1 – m, где m – число объясняющих переменных. Для определения параметров модели принимаются условия ортогональности ошибок к каждому члену модели [e] = 0, [ex₁] = 0, [ex₂] = 0 – это связи, наложенные на отклонения ошибок от их среднего значения. Обычно в модели число определяемых параметров на единицу превышает число аргументов из-за обязательного наличия в модели свободного члена b₀ (кстати, наличие в модели свободного члена приводит к равенству нулю среднего значения ошибки и равенству средних ).

Для числа степеней свободы расчетных значений должно получиться dfp = dfy – dfe = (n – 1) – (n –1 – m) = m. Рассмотрим отклонения расчетных значений от среднего значения: . При преобразовании было использовано первое уравнение нормальной системы (см. предыдущую лекцию) – следствие условия [e] = 0. Напоминаем, что в регрессионном анализе все объясняющие переменные x_j считаются не случайными, поэтому оказалось, что все отклонения расчетных значений от своего среднего являются разными линейными комбинациями m случайных величин b_j с не случайными коэффициентами . Отсюда следует, что независимыми могут быть только m таких комбинаций, т.е. dfp = m.

Для проверки значимости модели заполним таблицу дисперсионного анализа 1, причем выразим суммы квадратов SSp = R²SSy и SSe = (1 – R²)SSy через общую сумму квадратов SSy и коэффициент детерминации R².

Таблица дисперсионного анализа 1 для оценки значимости модели

Источник изменчивости	Суммы квадратов	ЧСС	Средние квадраты	Дисперсионное отношение
Регрессия	SSp = R2SSy	dfp = m	MSp = SSp / dfp	Fp = MSp / MSe
Остаток модели	SSe = (1 – R2)SSy	dfe = n – 1 – m	MSe = SSe / dfe
Общая		dfy = n – 1

Получено следующее выражение для дисперсионного отношения Фишера

,

которое надо сравнивать с табличными значениями F_0,05(dfp; dfe) и F_0,01(dfp; dfe).

Для одномерного случая (m = 1) ЧСС dfp = 1 и дисперсионное отношение

надо сравнивать с табличными значениями , где  =0,05 и 0,01. Интересно, что для линейной однофакторной зависимости мера тесноты связи и характеристика ее значимости F_p получаются одинаковыми для обеих сопряженных моделей.

Регрессионная модель считается значимой, если вычисленное значение дисперсионного отношения будет больше верхней границы F_p > F_0,01 ; модель признается незначимой, если F_p < F_0,05 .