24. Метод наименьших квадратов: алгоритм метода; условия применения. Обобщённый метод наименьших квадратов

• Метод наименьших квадратов

Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных а и b

F(a,b)=∑(yi-(axi+b))²

принимает наименьшее значение. То есть, при данных а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. В этом вся суть метода наименьших квадратов.

Таким образом, решение примера сводится к нахождению экстремума функции двух переменных.

Вывод формул для нахождения коэффициентов.

Составляется и решается система из двух уравнений с двумя неизвестными. Находим частные производные функции

F(a,b)=∑(yi-(axi+b))²

по переменным а и b, приравниваем эти производные к нулю.

∂ F(a,b)/ ∂a=0 -2∑(yi-(axi+b))xi=0 a∑xi²+b∑xi=∑xiyi a∑xi²+b∑xi=∑xiyi

  

∂ F(a,b)/ ∂b=0 -2∑(yi-(axi+b))=0 a∑xi+∑b=∑yi a∑xi+nb=∑yi

Решаем полученную систему уравнений любым методом (например методом подстановки или методом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

a=(n∑xiyi-∑xi∑yi) / (n∑xi²-(∑xi)²)

b=(∑yi-a∑xi) / n

При данных а и b функция F(a,b)=∑(yi-(axi+b))² принимает наименьшее значения

• Обобщенный метод наименьших квадратов

Общая формула для расчёта матрицы ковариаций ОМНК-оценок коэффициентов обобщенной модели регрессии имеет вид:

Cov(β)=G²(ε)(X^TΩ^-1X)^-1

Величина G2(ε) оценивается по формуле:

S²_ε=(1 / (n-h))*(Y-X βомнк)^T Ω^-1 (Y-X βомнк)

Однако значение G2(ε) не следует трактовать как дисперсию случайной ошибки модели регрессии.

Коэффициент детерминации не используется при оценке качества обобщённой линейной модели регрессии, потому что он не отвечает требованиям, предъявляемым к обычному множественному коэффициенту детерминации.

Проверка гипотез о значимости коэффициентов обобщенной линейной модели регрессии и модели регрессии в целом осуществляется с помощью тех же статистических критериев, что и в случае нормальной линейной модели регрессии.

25. Модели с бинарными (фиктивными) переменными.

При построении модели регрессии может возникнуть ситуация, когда в неё необходимо включить не только количественные, но и качественные переменные (например, возраст, образование, пол, расовую принадлежность и др.).

Фиктивной переменной называется атрибутивный или качественный фактор, представленный посредством определённого цифрового кода.

Наиболее наглядным примером применения фиктивных переменных является модель регрессии, отражающая проблему разрыва в заработной плате у мужчин и женщин.

Предположим, что на основе собранных данных была построена модель регрессии, отражающая зависимость заработной платы рабочих y от их возраста х:

y_t=β₀+β₁x_t.

Однако данная модель регрессии не может в полной мере охарактеризовать вариацию результативной переменной. Поэтому в модель необходимо ввести дополнительный фактор, например пол, на основании предположения о том, что у мужчин в среднем заработная плата выше, чем у женщин. В связи с тем, что переменная пола является качественной, её необходимо представить в виде фиктивной переменной следующим образом:

1, муж

D =

0, жен

С учётом новой фиктивной переменной модель регрессии примет вид:

y=β₀+β₁x+β₂D

где β2 – это коэффициент, который характеризует в среднем разницу в заработной плате у мужчин и женщин.

Моделью регрессии с переменной структурой называется модель регрессии, которая включает в качестве факторной переменной фиктивную переменную.

Рассмотрим модель регрессии, характеризующую зависимость переменной размера заработной платы у от переменной стажа работников х с различным образованием. Качественная переменная «образование» может принимать три значения: среднее, среднее специальное и высшее. Для включения факторной переменной «образование» в модель регрессии, необходимо ввести две новых фиктивных переменных, потому что их количество должно быть на единицу меньше, чем значений качественной переменной.

Следовательно, качественная переменная «образование» может быть представлена в виде:

0, среднее 1, среднее

D1 = 1, ср.спец D2 = 0, ср.спец

0, высшее 1, высшее

Модель регрессии, характеризующая зависимость переменной размера заработной платы у от переменной стажа работников х с различным образованием, примет вид:

y=β₀+β₁x+β₂D₁+ β₃D₂

• Моделью регрессии без ограничений называется модель регрессии, в которую включены все фиктивные переменные.

• Базисной моделью или регрессией с ограничениями называется модель регрессии, в которой все значения фиктивных переменных равны нулю.