2. Переход к нелинейной по модели

Понятие о нелинейном оценивании. До сих пор мы конструировали модели, линейные относительно параметров

(14)

где ( ) в общем случае – функции от основных независимых переменных .

Любую модель, не имеющую вида (14), будем называть нелинейной моделью, т.е. моделью, нелинейной относительно параметров .

Примерами могут быть уравнения:

, (15)

, (16)

где - нелинейно входящие в модель оцениваемые параметры, -единственная переменная – регрессор; случайная ошибка 

Модель (15) путем логарифмирования по основанию может быть приведена к форме

, (17)

имеющей вид (14) и линейной относительно параметров. В этом случае говорят, что модель (15) является внутренне линейной.

Однако модель (16) к линейному виду привести невозможно. Такую модель называют внутренне нелинейной.

МНК в нелинейном случае. Пусть постулируется модель

(18)

или в матричном виде

, (19)

где .

Модель (19) можно записать в виде

,

предполагая, что , а также, что ошибки некоррелированы, имеют равные дисперсии и распределены по нормальному закону.

Введем наблюдений для . Тогда модель (18) можно записать в другой форме (20)

или в виде , (21)

где . Предположение о векторе ошибок можно записать так:  .

для решения задачи нелинейного оценивания введем сумму квадратов отклонений

, (22)

являющуюся функцией от вектора . Будем обозначать через оценку МНК для вектора , т.е. такую величину, которая минимизирует сумму .

Чтобы найти МНК оценку , следует продифференцировать уравнение (22) по . При этом мы получаем нормальных уравнений, которые могут быть решены относительно :

(23)

для .

Обычно решение нелинейных нормальных уравнений является очень сложной задачей, требующей даже в случае одного параметра итерационного подхода. Задача дополнительно усложняется тем, что может существовать не одно, а множество решений, соответствующих множеству стационарных значений функции .

На практике нелинейный МНК может быть реализован одним из трех методов:

1) метод линеаризации,

2) метод наискорейшего спуска,

3) метод Маркуардта.

3. Адаптация к нарушению условия <5.1>: идентификация структур

   1. Полный перебор

Наиболее точным методом для однокритериального случая является метод полного перебора, при котором расчеты ведутся для всех возможных регрессионных моделей. Последние сравнивают и выбирают наилучшую по заданной мере (станд.ошибка или значение F-статистики). Основной проблемой при реализации метода явл-ся чрезмерные затраты машинного времени, что заставляет вместо полного перебора использовать те или иные стратегии поиска, в которых кол-во перебираемых структур порядка р.

Обычно условие <5.1> о корректности метода поиска нарушается, если присутствует эффект мультиколлинеарности, количество регрессоров достаточно большое и полный перебор всех структур невозможен.