7. Метод наименьших квадратов
Пусть задана некоторая (параметрическая) модель вероятностной (регрессионной) зависимости между (объясняемой) переменной y и множеством факторов (объясняющих переменных) x
где 
—
вектор неизвестных параметров модели
—
случайная
ошибка модели.
Пусть
также имеются выборочные наблюдения
значений указанных переменных. Пусть 
—
номер наблюдения (
).
Тогда 
—
значения переменных в
-м
наблюдении. Тогда при заданных значениях
параметров b можно рассчитать теоретические
(модельные) значения объясняемой
переменной y:
Тогда можно рассчитать остатки регрессионной модели — разницу между наблюдаемыми значениями объясняемой переменной и теоретическими (модельными, оцененными):
Величина остатков зависит от значений параметров b.
Сущность
МНК (обычного, классического) заключается
в том, чтобы найти такие параметры b, при
которых сумма квадратов
остатков 
(англ. Residual
Sum of Squares[1])
будет минимальной:
где:
В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации). В этом случае говорят о нелинейном МНК (NLS или NLLS — англ. Non-Linear Least Squares). Во многих случаях можно получить аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции , продифференцировав её по неизвестным параметрам b, приравняв производные к нулю и решив полученную систему уравнений:
Если случайные ошибки модели имеют нормальное распределение, имеют одинаковую дисперсию и некоррелированы между собой, МНК-оценки параметров совпадают с оценками метода максимального правдоподобия (ММП).
В
случае парной линейной регрессии 
формулы
расчета упрощаются (можно обойтись без
матричной алгебры):
8. Свойства коэффициентов регрессии.
Свойства коэффициента регрессии
• Коэффициент регрессии принимает любые значения.
• Коэффициент регрессии не симметричен , т.е. изменяется, если X и Y поменять местами.
• Единицей измерения коэффициента регрессии является отношение единицы измерения Y к единице измерения X ([ Y ] / [ X ]).
• Коэффициент регрессии изменяется при изменении единиц измерения X и Y .
9. Нелинейная регрессия. Методы линеаризации.
Нелинейными оказываются производственные функции, функции спроса и т.д.
Для оценки параметров нелинейных моделей, как правило, используют линеаризацию модели, которая заключается в том, что с помощью подходящих преобразований исходных переменных исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными. Если не удается подобрать соответствующее линеаризующее преобразование, то применяют методы нелинейной оптимизации на основе исходных переменных.
Различают два класса нелинейных регрессионных моделей:
- модели, нелинейные относительно фактора, но линейные по параметрам;
- модели нелинейные по параметрам.
Модели, нелинейные относительно факторов, но линейные по параметрам.
Введением новых переменных такую модель можно свести к линейной, для оценки параметров которой используется обычный метод наименьших квадратов.
примеры линеаризующих преобразований:
1) Полиномиальная
модель: 
.
Соответствующая
линейная модель: 
,
где 
.
2) Гиперболическая
модель: 
.
Соответствующая
линейная модель: 
,
где 
.
3) Логарифмическая
модель: 
.
Соответствующая
линейная модель:
,
где 
.
Модели нелинейные по параметрам. Среди таких моделей выделяют нелинейные модели внутренне линейные и нелинейные модели, внутренне нелинейные. Модели внутренне линейные можно привести к линейному виду с помощью соответствующих преобразований.
Примеры внутренне линейных моделей и их линеаризация:
1) Мультипликативная
степенная модель: 
.
Линеаризующее преобразование:
или
,
где 
.
2) Экспоненциальная
модель: 
.
Линеаризующее
преобразование: 
.
3) Обратная
регрессионная модель: 
.
Линеаризующее
преобразование: 
.
К моделям, полученным после проведения линеаризующих преобразований можно применять обычные методы исследования линейной регрессии. Но поскольку в них присутствуют не фактические значения изучаемого показателя, то оценки параметров получаются несколько смещенными. При анализе линеаризуемых функций регрессии, следует особенно тщательно проверять выполнение предпосылок метода наименьших квадратов.