Ошибка аппроксимации

В результате эксперимента получаем последовательность выходов модели, которые аппроксимируем последовательностью выходов объектов. Чем ближе они располагаются, тем более качественная модель. Точность аппроксимации характеризуется (25), (26):

. (25)

(26)

Нелинейные регрессионные модели

Нелинейные регрессионные модели часто описывают наблюдаемый выход объекта более точно, чем линейные. Нелинейные модели можно разбить на 2 класса:

1. регрессии нелинейные относительно включенных объясняющих переменных (факторов), но линейные по оцениваемым параметрам.

В качестве примера нелинейная парная регрессия:

– один вход и среднее значение выхода.

;

и т.д.

2. регрессии, нелинейные по оцениваемым параметрам:

– степенная функция;

– помехоустойчивая функция;

– экспоненциальная функция и т.п.

Для нелинейных моделей первого класса путем введения новых переменных нелинейные модели приводят к линейным:

– линейный двухфакторный.

Для второго класса два подкласса (модели, приводящие к линейным в результате преобразований, и модели, не приводящие к линейным).

– степенная регрессия.

Логарифмируем обе части по основанию :

.

Вводим переменные: .

Получаем линейную регрессию: , коэффициенты определяются в виде МНК – оценок.

Т.к. осуществляются нелинейные преобразования, то оценки являются несмещенными. Нелинейные модели, не приводимые к линейным используют численные методы нахождения оценок коэффициентов регрессии. На основании наблюдений формируются невязки:

,

где .

Квадратичный критерий идентификации:

(27)

Если вид нелинейной регрессии известен, то задача получения модели сводится к определению коэффициентов регрессии, т.е. задача идентификации сводится к задаче параметрической идентификации, которая заключается в таком выборе векторов оценок коэффициентов регрессии , при котором критерий идентификации достигал бы . Т.е. приходим к задаче оптимизации без ограничений (на оценки коэффициентов регрессии никаких ограничений не накладывается). Для решения подобных задач используется, как правило, численные методы оптимизации.

Численные методы оптимизации.

Решение задачи нахождения векторов оценок, которые минимизируют критерий идентификации:

.

Ограничения на вектор оценок не накладывается – задача безусловной оптимизации.

1. Метод покоординатной оптимизации (Гаусса – Зайделя).

1) Задаемся начальным приближением к точке минимума функции . Полагаем (номер направления), (номер итерации). Метод предполагает поиск минимума вдоль каждого направления.

2) Осуществляем поиск точки минимума функции вдоль - го координатного вектора. Функцию m – переменных преобразуем в функцию – ой переменной. В качестве остальных координат – значения, полученные на текущей итерации или предыдущей:

(28)

3) Проверяем выполнение условий окончания поиска:

(29)

Расстояние между двумя точками меньше некоторой заданной величины и значение функций в этих точках не превосходит заданной величины , то найденная точка объявляется решением задачи.

.

Если условия не выполняются, то увеличивают номер направления поиска на 1: , или номер итерации и идти к п.2.

Особенности метода: метод весьма прост, но почти не используется в оптимизационных поисках, т.к. этот метод подвержен зацикливанию, когда поиск осуществляется по одной и той же траектории. С помощью этого метода можно осуществить минимизацию функций с разделяющими переменными.