21

ФГБОУ ВПО ДАГЕСТАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

ФАКУЛЬТЕТ ИНФОРМАЦИОННЫХ СИСТЕМ

Кафедра «Эконометрика и прикладная информатика в дизайне» методические указания

к лабораторной работе № 2

по дисциплине «АОЭИ»:

МНОЖЕСТВЕННАЯ РЕГРЕССИОННАЯ МОДЕЛЬ И АВТОМАТИЗАЦИЯ В СРЕДЕ MICROSOFT OFFICE EXCEL

Махачкала 2014 г.

I. ТЕОРЕТИЧЕСКИЕ СВЕДЕНИЯ

1. Классическая линейная модель множественной регрессии

Классическая (нормальная) модель линейной множественной регрессии (КЛММР) имеет вид:

, (1.1)

где y_i – значения результирующей переменной; х_i1, x_i2, ..., x_ip – значения 1-го, 2-го, ..., р-го регрессора в i-м наблюдении (i = 1, 2, ..., n); β₀, β₁, ..., β_p – числовые коэффициенты; ε_i – случайные (стохастические) составляющие или ошибки (возмущения).

Переписывая выражение (1.1) в виде системы уравнений для различных значений i = 1, 2, ..., n, их можно представить в матричном виде:

(1.2)

где – вектор объясняемых переменных; – вектор значений ошибки; – вектор коэффициентов; – матрица объясняющих переменных размером n× (р+1), в которой первый столбец с единичными элементами соответствует в выражении (1.1) умножению β₀ на единицу.

Основные предпосылки (гипотезы) КЛММР:

1. X – детерминированная матрица.

2. Математическое ожидание возмущения ε_i равно нулю:

3. Дисперсия возмущения постоянна для любых значений i (условие гомоскедастичности):

4. Возмущения для разных наблюдений являются некоррелированными:

Условия 3 и 4 можно объединить в одно, определяющее вид ковариационной матрицы возмущений:

где εε^T – векторное произведение векторов; Т – знак транспонирования матрицы; I_n – единичная матрица n-го порядка.

5. Возмущения являются нормально распределенными случайными величинами с нулевым средним значением и дисперсией σ²:

ε_i~N(0, σ²) или ε_i~N(0, σ²I_n)

5. Векторы объясняющих переменных (столбцы матрицы X) линейно независимы (ни один из них не может быть представлен в виде линейной комбинации других), другими словами, ранг матрицы X равен числу ее столбцов: rank (Х) = р +1 < n.

Для получения уравнения регрессии достаточно первых четырех и шестой предпосылок. Требование выполнения пятой предпосылки необходимо для оценки точности уравнения регрессии и его параметров.

2. Традиционный метод наименьших квадратов (мнк)

Оценкой модели (1.1) по выборке при i = 1, 2, ..., n является уравнение

, (1.3)

которое можно представить в матричном виде

, (1.4)

где – вектор аппроксимирующих значении зависимой переменной; – вектор выборочных оценок b₀, b₁, ..., b_p коэффициентов β₀, β₁, ..., β_p соответственно.

Согласно МНК вектор неизвестных параметров b выбирается так, чтобы сумма квадратов остатков была минимальной:

(1.5)

или с учетом (1.4) в матричной записи (е^Tе – скалярное произведение векторов)

. (1.6)

Необходимые условия экстремума (1.6) находятся путем приравнивания нулю вектора частных производных . Отсюда в результате приведения выражения (1.6) к более удобному для дифференцирования виду , с учетом известных из линейной алгебры правил вычисления производных по векторному аргументу , (с и А – вектор и симметричная матрица соответственно) получается система нормальных уравнений для определения вектора b

. (1.7)

Согласно предпосылке 6 КЛММР, ранг матрицы X равен (р + 1). Это означает, что ранг симметричной квадратной матрицы Х^TХ (р + 1)-го порядка также равен (р +1), она является невырожденной (ее определитель не равен нулю), и существует обратная матрица (Х^TХ)^-1 такая что произведение (Х^TХ)^-1(Х^TХ)=I_p+1. Поэтому решение системы (1.7) можно представить следующим образом

(1.8)

Если записать первое уравнение системы нормальных уравнений (1.7) в развернутом виде

легко получить соотношение, выражающее коэффициент b₀ через остальные коэффициенты и соответствующие выборочные средние:

(1.9)