Лекция 2. Множественная регрессия

Явления, зависящие от многих факторов можно описать с помощью множественной регрессии. Исследовав взаимосвязи процессов в прошлом, и определив функциональные связи можно с некоторой вероятностью планировать будущее.

1. Оценка параметров множественной линейной регрессии методом наименьших квадратов (МНК)

Постановка задачи: Пусть случайная величина, которая является линейной функцией нескольких переменных, называемых факторами:. Зависимость междуинаблюдается в нескольких периодах (временных интервалах) Всего таких интерваловПредполагаемый вид зависимости:

; .

(1)

Примечание. Считаем что все значения известны. Эти величины – значения факторов в соответствующем периоде. Всегофакторов ипериодов (интервалов);.

Все – неизвестны; это коэффициенты или параметры модели.

–случайные величины: отклонения от функциональной зависимости. Эти отклонения называются флуктуациями или ошибками.

Все известны, всеизвестны, неизвестны. Заранее в эти уравнения включаются случайные отклонения. Модель одновременно многофакторная, вероятностная и динамическая, состоящая изуравнений.

Систему уравнений, которой задают множественную регрессию можно записать в матричной форме.

Вводим обозначения: Матрица – столбец – это значенияв каждом периоде:

Набор коэффициентов обозначим матрицей (или вектором).

Размерность вектора (так как есть константы).

Вводим матрицу – значение всех факторов во всех периодах. Нестандартность матрицы в том, что введен специальный столбец из единиц.

Столбцы – соответствуют факторам, строки – периодам; размерность матрицы .

Матрица – столбец :

После введения обозначений можно записать (1) в матричной форме:

(2)

Матрицаназываетсярегрессионной матрицей. Вводим предположение: ее столбцы линейно независимы.

Допущение для вектора :

1. –случайные величины .

2. Математическое ожидание этих случайных величин (т.е. ошибок) равно нулю .

3. Дисперсии этих величин одинаковы .

4. Длякоэффициент корреляции. Эти случайные величины не коррелированны, что практически означает отсутствие линейной зависимости между отклонениями (ошибками) в одном периоде и ошибками в другом периоде.

Уравнение (1) запишем в виде:

–случайная величина.

–это оценки, которые являются неизвестными – приближенные значения.

Главная часть уравнения называется трендом.

Подбор соответствующего вектора будет хорош, когдабудут малы.

Составим целевую функцию для метода наименьших квадратов:

– сумма квадратов отклонений, наблюдаемых значений от расчетных

Цель: получить минимум этой функции переменного

.

Необходимые условия экстремума .

Запишем систему, которая получится в результате дифференцирования и преобразований – систему нормальных уравнений:

Это линейная система изуравнения относительнонеизвестного(введен).

Наиболее экономичный метод решения уравнения – метод Жордана –Гаусса.

2. Метод наименьших квадратов в матричной форме

Дополнительные свойства матриц:

1. (– операция транспонирования);

2. ; 3)

4. .

Уравнение (2) запишем в виде , где–переменный вектор оценок.

Выразим

(т.к. - это число и- тоже число).

рассматривается как функционал. Найдем производную: .

1-е слагаемое от не зависит;

2-е слагаемое содержит переменную ;

3-е слагаемое содержит в двух местах.

Решим уравнение:

; .

обозначим через. Матрицаявляется квадратной. Будем считать, что есть обратная, тогда.

Окончательный результат: .