3.4. Метод наименьших квадратов

Пусть по выборке (x_i, y_i), i = 1, 2, ... , n, требуется определить оценки a_* и b_* эмпирического уравнения регрессии (3.8) (иногда они далее будут обозначаться как b₀ и b₁).

В этом случае при использовании МНК минимизируется следующая функция (рис. 3.4):

Рис. 3.4. Изображение отклонений, сумма квадратов которых минимизируется

(a,b)= (3.10)

Нетрудно заметить, что функция  является квадратичной функцией двух параметров a и b₁ ( = (a , b)), поскольку (x_i, y_i), i = 1, 2, ... , n – известные данные наблюдений. Так как функция  непрерывна, выпукла и ограничена снизу ( > 0), то она имеет минимум.

Необходимым условием существования минимума функции двух переменных (3.10) является равенство нулю ее частных производных по неизвестным параметрам a и b:

(3.11)

В литературе эта система уравнений часто называется системой нормальных уравнений.

После удаления 2, а также (-1) (они не равны нулю) и приведения подобных членов (в результате суммирования единицы n раз получим соответственно n) получим

(3.12)

Выразим a_* в первом уравнении через b_*

или

, (3.13)

или по-другому,

,

где ,.

Подставив выражение (3.13) во второе уравнение системы (3.12), получим

Тогда

Таким образом,

. (3.14)

Теперь благодаря выражениям (3.13) и (3.14) имеем выборочное уравнение линейной регрессии:

y_теор(x_i) = a_* + b_*x_i, (3.15)

т.е.

y_i = a_* + b_*x_i+e_i, (3.16)

где х_i и y_i – значения наблюдаемых величин х и у;

e_i – оценки теоретического случайного отклонения _i.

Таким образом, по МНК оценки параметров a_* и b_* определяются по формулам (3.13)–(3.14).

Нетрудно заметить, что b_* можно вычислить по формуле:

. (3.17)

Выполните это в качестве упражнения.

Упражнение 1. Доказать, что

.

Если мы разделим числитель в выражении (3.17) на n, то мы получим известную и часто используемую в математической статистике величину выборочной ковариации S_xy:

, (3.18)

Если же разделить знаменатель в выражении (3.17) на n, то мы получим оценку дисперсии переменной x, или квадрат среднеквадратического отклонения

, (3.19

Тогда

, (3.20)

где r_xy – выборочный коэффициент корреляции, определяемый следующим образом:

(3.21)

и являющийся показателем тесноты связи между факторами x и y.

Здесь и– выборочные среднеквадратические отклонения случайных величин Х иY, соответственно. Далее, эти величины будем обозначать как и. Таким образом, коэффициент регрессии пропорционален ковариации и коэффициенту корреляции, а коэффициенты пропорциональности служат для соизмерения перечисленных разномерных величин.

Итак, если коэффициент корреляции r_ху уже рассчитан, то легко может быть найден выборочный коэффициент b_* парной регрессии по формуле (3.19) и наоборот.

Упражнение 2. Доказать, что

,

где cov(x,y) = S_xy – выборочный коэффициент ковариации признаков.

Параметр b_* называется выборочным коэффициентом регрессии и показывает среднее изменение результативного фактора y при изменении фактора х на единицу.

Как известно, выборочный линейный коэффициент корреляции находится в границах .

Если коэффициент регрессии b>0, то , и, наоборот, при b<0 имеем.

Пример 1. Пусть имеются статистические данные об объёме выпуска некоторой продукции (X, тыс. ед.) и соответствующих затратах на производство (Y, млн руб.). Требуется построить линейную регрессионную зависимость затрат от объёма выпуска.

I - номер измерения	Объём выпуска продукции, Xi, тыс. ед.	Затраты на выпуск продукции, Yi, млн. руб.
1	1	30
2	1,5	40
3	3	100
4	4,5	120
5	5,2	150
6	5,8	170
7	6,5	230

По данным примера 1 величина линейного коэффициента корреляции равна 0,976362, что достаточно близко к 1 и означает наличие очень тесной связи затрат на производство от объёма выпускаемой продукции.

Следует иметь в виду, что величина линейного коэффициента корреляции оценивает тесноту связи рассматриваемых признаков в её линейной форме. Поэтому близость абсолютной величины к нулю ещё не означает отсутствие связи между признаками. При иной спецификации модели связь между признаками может оказаться достаточно тесной.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , называемый коэффициентом детерминации. Этот коэффициент характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака:

. (3.22)

Соответственно, величина 1-характеризует долю дисперсии y, вызванную влиянием остальных, не учтённых в модели факторов.

Проведенные рассуждения и формулы (3.10) – (3.17) позволяют сделать ряд выводов [3]:

1. Оценки МНК являются функциями от выборки, что позволяет их легко рассчитывать.

2. Оценки МНК являются точечными оценками теоретических коэффициентов регрессии.

3. Согласно второй формуле соотношения (3.12), эмпирическая прямая регрессии обязательно проходит через точку .

4. Эмпирическое уравнение регрессии построено таким образом, что сумма отклонений e_i, а также среднее значение отклонения равны нулю.

Действительно, из первого уравнения –2(y_i -a_* – b_*х_i) =0 в соотношении (3.11) следует, что –2e_i = 0 => e_i =0 => e_i /n= 0.

Следовательно, = 0.

5. Случайные отклонения e_i не коррелированы с наблюдаемыми значениями x_i независимой переменной X.

Действительно, из второго уравнения –2(y_i -a_* – b_*х_i)x_i =0 в соотношении (3.11) следует, что 2e_ix_i= 0 => (e_ix_i) = 0 => cov(e,x)= 0.

Следовательно, =0.