2. Случай нелинейной системы уравнений

Для решения нелинейной задачи осуществляют искусственную линеаризацию системы нелинейных уравнений. Пусть задана система нелинейных уравнений относительно неизвестных параметров , подлежащих оцениванию:

.

При этом предполагается, что существует некоторое нулевое приближение (начальные оценки) неизвестных параметров, причем погрешность его мала, то есть разностималы по сравнению с истинными значениями оцениваемых коэффициентов . Не рассматривая способа получения начального приближения, т.к. в каждом конкретном случае это является самостоятельной задачей, остановимся на процедуре уточнения данного приближения. Про погрешностисделаем те же самые предположения, что и в линейном случае.

Ввиду малости погрешностей разложим функции в ряд Тейлора в точке, ограничившись линейными членами:

(11)

В системе (11) сначала находятся частные производные по, а затем вычисляются значения этих частных производных в точке. Получилась система излинейных относительно поправокуравнений снеизвестными, аналогичная системе (2). Решая ее по методике, описанной в предыдущем разделе, находят неизвестные поправкии вычисляют первые приближения оценок. Данную процедуру можно повторить и найти второе приближение оценок, разложив функциив ряд Тейлора в точкеи решив получающуюся систему, аналогичную (11), относительно поправок, и т.д. То есть в данном случае оценки неизвестных коэффициентовнаходятся методом последовательных приближений. Но для успешной сходимости метода необходимо удачно находить нулевые приближения , что зачастую является очень сложной задачей.

3. Важные частные случаи

3.1. Случай равноточных измерений

Постановка задачи аналогична разделу 1, где погрешности измерения величинпредполагаются независимыми, нормально распределенными с нулевым математическим ожиданием и одинаковой дисперсиейдля всех; то есть измерения равноточные. В этом случае матрица весов измеренийстановится единичной, и выражения для вектора оценок коэффициентов(8), оценки дисперсии(9) и матрицы ошибок(10) несколько упрощаются:

, (12)

, (13)

. (14)

При этом все оптимальные свойства оценок (12) сохраняются.

3.2. Линейная регрессия

Очень часто одна физическая величина линейно зависит от другой величины(приведите примеры!)

где неизвестные коэффициенты инаходят из эксперимента. Для этого при фиксированных точно известных значениях: измеряют соответствующие значения , но поскольку в измерениях присутствуют неизбежные ошибки , то реально результаты измерения получаются , где измеренные величиныможно представить в виде

.(15)

В такой постановке задача является частным случаем задачи (2) из раздела 1, когда относительно погрешностей сделаны те же самые допущения. В этом случае оценки коэффициентов и получаются из формулы (8):

, (16)

, (17)

где обозначено

,, (17а)

,.

3.3. Полиномиальная регрессия

Согласно теореме Вейерштрасса [9] любую непрерывную функцию можно приблизить на конечном интервале сколь угодно точно полиномом-го порядка

,

выбрав соответствующие степень полинома и коэффициенты.

Поэтому задача нахождения коэффициентов регрессии по измеренным значениям(– ошибки измерения) функции, выполненных при фиксированных точно известных значенияхнезависимой переменной, актуальна.

Пусть имеется система из уравнений относительнонеизвестных:

,, (18)

причем предполагается, что , а погрешностиудовлетворяют условиям 1) и 2) раздела 1. Требуется найти оценки неизвестных коэффициентов из системы (18). Т.к. число уравнений больше числа неизвестных, то данную систему надо решать по ММП. В этом случае матрица плана эксперимента имеет вид

.

Введем обозначения

,

Тогда система (18) примет вид, аналогичный (2)

. (19)

А оценки неизвестных коэффициентов , параметраи дисперсионной матрицы ошибокнаходятся по формулам (8)-(10).

После нахождения коэффициентов полиномиальной регрессии необходимо проверить гипотезу адекватности представления рассматриваемого явления выбранной моделью. Другими словами, необходимо ответить на вопрос, насколько хорошо описывает выбранный полином изменение функциив рассматриваемом диапазоне изменения параметра; и если точность описания неудовлетворительна, то следует увеличить степень полинома.

Статистически грамотно решить поставленную задачу можно только в случае, когда известна дисперсия исходных наблюдений (или ее можно оценить каким-либо другим способом, отличным от (9)).

Пусть имеется исходная оценка параметра , которую обозначим. Тогда для выбора адекватной модели функции(то есть степениполиномаи соответствующих коэффициентов регрессии) в рассматриваемом диапазоне измененияможно воспользоваться следующей методикой. Предположим, что априорно (до опыта) ориентировочно известна степень полинома, удовлетворительно описывающая поведение функциив рассматриваемой области (в случае отсутствия априорных данных лучше всего начать процедуру подбора степени полинома с, то есть). Используя наблюдаемые значения, находят с помощью (8) оценки коэффициентови остаточную дисперсию

. (20)

Далее составляется -отношение

,

и по критерию Фишера проверяют (см. часть II, раздел 3), значимо ли отличаются дисперсии остаточная и исходных наблюдений. Если отличие незначимое, то с заданной доверительной вероятностью считают, что полином адекватно описывает поведение функциина заданном интервале. В противном случае увеличивают степень полинома на единицу и повторяют процедуру с полиномом,и т.д. пока отличие не перестанет быть значимым. Следует отметить, что вычисление остаточной дисперсии по формуле (20) проще, чем по формуле (9), т.к. часть входящих в (20) сумм была уже подсчитана при вычислении оценок коэффициентов регрессии.

Важно понимать, что данные методы нахождения коэффициентов регрессии и проверки гипотезы адекватности модели можно применять и в случае, когда вместо степенных функций используются любые другие известные функции параметра, например, гармонические, и т.д.