2.3. Нелинейная регрессия. Линеаризация нелинейной регрессии

2.3.1. Виды нелинейной регрессии

Во многих случаях при проведении регрессионного анализа применение линейной модели к изучаемым данным может оказаться неэффективным. В этом случае для исследования зависимости между результативной и факторными переменными применяют нелинейные функции.

Различают два основных класса нелинейных моделей:

1) нелинейные модели относительно факторных переменных, но линейные по оцениваемым параметрам;

2) нелинейные модели по оцениваемым параметрам.

Рассмотрим подробнее первый класс нелинейных моделей. К таким моделям относятся полиномиальные функции различных порядков (начиная со второго) и гиперболическая функция.

Общий вид полиномиальной функции п-го порядка или п-й степени можно представить в виде следующей формулы:

y_i = β₀ + β₁x_i + β₂x²_i + … +β_nxⁿ_i + ε_i

Наиболее часто из полиномиальных функций используется полином второго порядка, или параболическая функция:

y_i = β₀ + β₁x_i + β₂x²_i + ε_i

Регрессионные модели, нелинейные по переменным, отличаются тем, что зависимая переменная y_i линейно связана с оцениваемыми параметрами β₀ , … , β_n.

Полиномы высоких степеней (более четвертой) использовать при изучении социально-экономических связей между переменными не рекомендуется. Это ограничение основано на том, что такие полиномы имеют больше изгибов и отразить реальную зависимость результативного признака от факторных переменных практически не способны.

Гиперболическая функция вида

y_i = β₀ + β₁ / x_i + ε_i

также отражает линейную связь между зависимой переменной y_i и параметрами β₀ и β₁, но является нелинейной по факторной переменной x_i . Данная гиперболическая функция - равносторонняя.

2.3.2. Линеаризация

Для того, чтобы оценить неизвестные параметры β₀ , … , β_n нелинейной регрессионной модели, необходимо привести ее к линейному виду. Суть линеаризации нелинейных по независимым переменным регрессионных моделей заключается в замене нелинейных факторных переменных на линейные. В общем случае полиномиальной регрессии процесс замены нелинейных переменных функции п-го порядка выглядит следующим образом: x = с₁, ; х² = c₂ ; x^З = с₃; ... ; x^п = c_п.

Тогда уравнение множественной нелинейной регрессии можно записать в виде линейного множественного регрессионного уравнения

y_i = β₀ + β₁x_i + β₂x²_i + … +β_nxⁿ_i + ε_i =>

=> y_i = β₀ + β₁c_1i + β₂c_2i + … +β_nc_ni + ε_i

Гиперболическую функцию также можно привести к линейному виду с помощью замены нелинейной факторной переменной на линейную. Пусть 1/х = с . Тогда исходное уравнение гиперболической функции можно записать в преобразованном виде:

y_i = β₀ + β₁ / x_i + ε_i => y_i = β₀ + β₁с_i + ε_i

Таким образом, и полиномиальную функцию любой степени, и гиперболоид можно свести к модели линейной регрессии, что позволяет применять к преобразованной модели традиционные методы нахождения неизвестных параметров уравнения регрессии (например, классический МНК) и стандартные методы проверки различных гипотез.

Ко второму классу нелинейных моделей относятся регрессионные модели, в которых результативная переменная y_i нелинейно связана с параметрами уравнения β₀ ,…, β_n . К такому типу регрессионных моделей относятся:

1) степенная функция

2) показательная функция

3) логарифмическая парабола

4) экспоненциальная функция

5) обратная функция

и другие.

Нелинейные по параметрам регрессионные модели в свою очередь делятся на модели подлежащие линеаризации (внутренне линейные функции) и неподлежащие линеаризации (внутренне нелинейные функции). Примером моделей, которые можно свести к линейной форме, является показательная функция вида y_i = β₀ · β₁^xi · ε_i , где случайная ошибка ε_i мультипликативно связана с факторным признаком x_i . Данная модель нелинейна по параметру β₁. Для ее линеаризации вначале осуществим процесс логарифмирования:

ln y_i = ln β₀ + x_i ·ln β₁ + ln ε_i

Затем воспользуемся методом замен. Пусть ln y_i = Y_i; ln β₀ = А; ln β₁ =В; ln ε_i =Е_i.

Тогда преобразованная показательная функция имеет следующий вид:

Y_i = А + В x_i + Е_i .

Следовательно, показательная функция y_i = β₀ · β₁^xi · ε_i является внутренне линейной, и оценки ее параметров могут быть найдены с помощью традиционного метода наименьших квадратов.

Если же взять показательную функцию, включающую случайную ошибку ε_i аддитивно, т.е. y_i = β₀ · β₁^xi+ ε_i , то данную модель уже невозможно привести к линейному виду с помощью логарифмирования. Она является внутренне нелинейной.

Пусть задана степенная функция вида y_i = β₀ · x _i ^β1 · ε_i . Прологарифмируем обе части уравнения:

ln y_i = ln β₀ + β₁·ln x_i + ln ε_i

Теперь воспользуемся методом замен: ln y_i = Y_i; ln β₀ = А; ln x_i =X_i; ln ε_i = Е_i .

Тогда преобразованная степенная функция имеет следующий вид:

Y_i = А + β₁ X_i + Е_i .

Степенная функция также является внутренне линейной и ее оценки можно найти с помощью традиционного метода наименьших квадратов. Но если взять степенную функцию; виде уравнения y_i = β₀ · x _i ^β1+ ε_i , где случайная ошибка аддитивно связана с факторной переменной, то модель становится внутренне нелинейной.