7. Метод наименьших квадратов.

Построение линейной регрессии сводится к оценке ее параметров – и . Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Согласно методу наименьших квадратов неизвестные параметры выбираются таким образом, чтобы сумма квадратов отклонений выборочных значений от значений , найденных по уравнению регрессии, была минимальной:

где минимум ищется по неизвестным параметрам , которые входят в зависимость .

Найденные значения параметров, которые минимизируют указанную сумму квадратов разностей, называются оценками неизвестных параметров по методу наименьших квадратов. Полученные оценки подставляются в функцию вместо неизвестных коэффициентов. В результате после подстановки получается функциональная зависимость, в которой нет неизвестных параметров, построенную таким образом функцию будем обозначать Именно эту зависимость будем рассматривать как усредненную зависимость изучаемого показателя от объясняющего фактора, она и является выборочным (эмпирическим) уравнением регрессии.

После нахождения уравнения регрессии вычисляется остаточная сумма квадратов по величине которой можно судить о качестве соответствия эмпирической функции имеющимся в наличии статистическим наблюдениям. Перебирая разные функциональные зависимости и действуя подобным образом можно практически подобрать наиболее удачную функцию для описания имеющихся данных.

Т.е. из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной (рис. 1.2):

Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.

Как известно из курса математического анализа, чтобы найти минимум функции (1.2), надо вычислить частные производные по каждому из параметров и и приравнять их к нулю.

, , (1.5)

где – ковариация признаков и , – дисперсия признака и

,

Ковариация – числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений этих случайных величин от их математических ожиданий.

Дисперсия – характеристика случайной величины, определяемая как математическое ожидание квадрата отклонения случайной величины от ее математического ожидания.

Математическое ожидание – сумма произведений значений случайной величины на соответствующие вероятности.

8. Свойства коэффициентов регрессии.

В практике эконометрического анализа чаще всего используют линейную парную регрессию (функциональная зависимость 1). Уравнение регрессии будем искать в виде . Неизвестные (пока) коэффициенты являются оценками параметров . Можно сказать, что эмпирическое уравнение регрессии является оценкой по выборке регрессионной модели .

Метод наименьших квадратов для линейной парной регрессии состоит в следующем:

,

где

Вычисляя производные по параметрам и приравнивая их к нулю, приходим к следующей системе из двух уравнений

Решение системы уравнений называется оценкой неизвестных параметров по методу наименьших квадратов, его можно найти по формулам:

где

, , , .

Используя понятия выборочных дисперсий, ковариаций и корреляций оценки наименьших квадратов (решение системы уравнений) можно записать специальным образом:

, ,

где , — выборочные средние,

— выборочные дисперсии,

— выборочный коэффициент корреляции.

Следовательно, парная эмпирическая линейная регрессия имеет вид

.

Нетрудно найти значения показателя, рассчитанные по линейной регрессии для тех значений объясняющего фактора, которые содержатся в выборке

,

Особое значение для проверки статистической значимости парной линейной регрессии имеют остатки (разности между значениями показателя, полученными в эксперименте, и вычисленными по уравнению линейной регрессии):

Вычисленному коэффициенту при объясняющем факторе в парной линейной регрессии можно дать естественную экономическую интерпретацию. Параметр b называется коэффициентом регрессии. Его величина показывает, насколько единиц изменится результат с изменением фактора на одну единицу.

Параметр a, вообще говоря, не имеет экономической интерпретации. Формально – значение при . Например, если a<0, то попытка его экономической интерпретации приводят к абсурду.

Зато можно интерпретировать знак при параметре а. Если, а>0, то относительное изменение результата происходит медленнее, чем изменение фактора.