2. Метод наименьших квадратов (мнк).

Оценка параметров регрессии a и b производится по наблюденным значениям зависимой и объясняющей переменным (x_i,y_i), i=1,2,…,n, где n – число пар наблюдений (объем выборки). Рассматриваются n уравнений у_i= aх_i+b +_i, где уклонения _i является следствием реализации случайной составляющей, и выбирают такие значения a и b, которые минимизируют сумму квадратов этих уклонений, т.е. ищется минимум

Q=_i_i²= _i(у_i – aх_i - b)² (2.4)

по отношению к параметрам a и b. Заметим, что указанный метод наименьших квадратов (МНК) может быть применен к любой кривой регрессии f(x). “Наилучшая” по МНК прямая линия всегда существует, но даже наилучшая не всегда является достаточно хорошей. Если в действительности зависимость у= f(x) является, например, квадратичной, то ее не сможет адекватно описать никакая линейная функция, хотя среди всех линейных функций обязательно найдется “наилучшая”.

Для отыскания минимума берутся частные производные Q по искомым параметрам (в данном случае по ₀ и ₁) и приравниваются к нулю. После выполнения элементарных преобразований получают так называемую систему нормальных уравнений, из которой и находятся искомые параметры. Для парной линейной регрессии получаем

a=( –  )/( – ( )²), (2.5)

b= –a  =(( )  –  )/( – ( )²),

где =x_iy_i/n, =x_i/n, =y_i/n, =х_i²/n.

Коэффициент a называется коэффициентом регрессии и обозначается _yx. Из (2.1) и (2.5) следует, что

_yx = r_yx _y /_х. (2.6)

Если выборка имеет достаточно большой объем и хорошо представляет генеральную совокупность (репрезентативна), то заключение о тесноте линейной зависимости между признаками, полученными по данным выборки, в известной степени может быть распространено и на генеральную совокупность, т.е. можно выдвинуть гипотезу об имеющейся линейной связи во всей генеральной совокупности вида у= aх+b.

2.3. Свойства оценок мнк.

Оценки, сделанные с помощью МНК, обладают следующими свойствами:

• оценки являются несмещенными, т.е. математическое ожидание оценки каждого параметра равно его истинному значению. Это вытекает из того, что М=0, и говорит об отсутствии систематической ошибки в определении положения линии регрессии;

• оценки состоятельны, так как дисперсия оценок параметров при возрастании числа наблюдений стремится к нулю. Иначе говоря, надежность оценки при увеличении выборки растет;

• оценки эффективны, они имеют наименьшую дисперсию по сравнению с любыми другими оценками данного параметра (при линейной аппроксимации). В англоязычной литературе они называются BLUE (Best Linear Unbiased Estimators – наилучшие линейные несмещенные оценки).

2.4.Регрессия по эмпирическим (выборочным) данным и теоретическая регрессия.

Пример 2.1. Исследуем зависимость розничного товарооборота (млрд. руб.) магазинов от среднесписочного числа работников. В табл.2.1 во втором и третьем столбцах приведены значения соответственно объемов розничного товарооборота(у) и среднесписочного числа работников(х), а в следующих столбцах – значения необходимых расчетных величин.

Таблица 2.1

номер	у	х	(х – )2	(у – )2	х2	ху	ŷ	ε	ε2
1	3	2	4	5	6	7	8	9	10
1	0,5	73	1600	0,49	5329	36,5	0,43	0,07	0,0049
2	0,7	85	784	0,25	7225	59,5	0,661	0,039	0,0015
3	0,9	102	121	0,09	10404	91,8	0,998	-0,098	0,0096
4	1,1	115	4	0,01	13225	126,5	1,239	-0,139	0,0193
5	1,4	122	81	0,04	14884	170,8	1,373	0,027	0,0007
6	1,4	126	169	0,04	15876	176,4	1,45	-0,05	0,0025
7	1,7	134	441	0,25	17956	227,8	1,604	0,096	0,0092
8	1,9	147	1156	0,49	21609	279,3	1,854	0,046	0,0021
сумма	9,6	904	4356	1,66	106508	1168,6	9,592	0,001	0,0479
средн.	1,2	113	544,5	0,2075	13313,5	146,075	1,199	0,0001	0,0060

В соответствии с (2.5)

a=( –  )/( – ( )²) =(146,075 – 1131,2)/544,5=0,01924;

b=(( )  –  )/( –( )²)=(13313,51,2–113146,075)/544,5= -0,974.