8.1.3. Нелинейная регрессия

При выборе регрессионных соотношений в практике решения задач регрессии достаточно часто используются нелинейные функции искомых параметров, которые определяют принадлежность такой задачи к классу задач нелинейной регрессии. Примерами нелинейных регрессионных зависимостей могут служить

у = exp(₀) + ln(₁) х + ε; у = (₀)² + ₁х + (1/₂) х² + ε

и другие, в которых аддитивно или мультипликативно входят нелинейные функции параметров.

Решение задач нелинейной регрессии требует применения процедур численного поиска, реализующих один из методов поиска экстремума функции многих переменных. Известно, что разработка и отладка соответствующих программ поиска экстремумов — сложная и трудоемкая проблема, требующая значительных затрат времени и сил. Поэтому применение систем компьютерной математики, в которых такие программы предусмотрены, существенно упрощает и, в большом числе случаев, делает весьма простым практическое применение поисковых методов решения задач регрессии. В среде Mathcad подобные программы существуют в виде процедур, вызов которых осуществляется встроенными функциями minimize и maximize для минимизации и максимизации целевых функций соответственно.

Поисковые процедуры можно использовать и для решения задач линейной регрессии. Но, как следует из п. 8.1.2, использование простого алгоритма МНК значительно удобнее. Следует отметить, что ряд вариантов задач регрессии с линейными зависимостями откликов от искомых параметров при наличии дополнительных условий превращаются в задачи нелинейной регрессии. Это происходит, чаще всего, при введении ограничений на искомые параметры. Наличие таких ограничений делает возможным решение подобных задач регрессии лишь на основе применения поисковых процедур.

При решении задач нелинейной регрессии должны быть выполнены этапы, аналогичные тем, которые рассматривались при решении задач линейной регрессии: выбор регрессионного соотношения, формирования меры близости исходных данных и значений ординат регрессионной кривой, выбор выражения для минимизируемого критерия и проч. Кроме этих общих позиций, в задачах нелинейной регрессии должны быть заданы численные значения параметров, выступающих в качестве начального приближения для поисковой процедуры. Подходы к решению задач нелинейной регрессии в целом аналогичны принципам решения задач аппроксимации, достаточно подробно рассмотренных в п. 4.3. Учитывая это, ограничимся здесь типовыми примерами использования алгоритмов поиска экстремумов. Проиллюстрируем возможность применения поисковых процедур и приведем два варианта решения задачи линейной регрессии, рассмотренной ранее (см. рис. 8.1 и рис. 8.2). Результаты приведены на рис. 8.3.

Рис. 8.3. Решения задач регрессии алгоритмом поиска

В примере (см. рис. 8.3) была поставлена задача построить линейную регрессию путем поиска экстремума функции искомых параметров , , , используя в качестве регрессионной зависимости полином второго порядка, для случаев:

1) без наложения ограничений на искомые параметры;

2) при наложении ограничения вида ₁  – 0,03.

Решения для этих двух вариантов на рис. 8.3 помечены цифрами 1 и 2 соответственно. Для первого варианта на рис. 8.1 и рис. 8.2 были получены решения с применением традиционного алгоритма МНК и рекуррентного алгоритма. Результирующее регрессионное соотношение было получено в форме: = – 0,753 – 0,078 х + 0,178 х2; остаточная сумма квадратов была равна 0,91.

Оптимизация для варианта 1 (см. рис. 8.3) производилась применением встроенной функции minimize, реализующей несколько численных методов поиска. При решении был выбран метод Ньютона. Начальные приближения для исеомого вектора в первом варианте соответствовали нулевому вектору.

В варианте 1 получены значения параметров (– 0,753, – 0,078, 0,178), полностью совпадающие с ранее полученными на рис. 8.1 и рис. 8.2 значениями. Совпадение результатов объясняется использованием одного и того же критерия (минимум суммы квадратов невязок) и отсутствием ограничений на параметры. Значение целевой функции при найденных параметрах соответствует остаточной сумме квадратов невязок S; в первом варианте она равна 0,91, что также совпадает с ранее найденной величиной.

Во втором варианте решение получено с заданным ограничением. Вводу ограничений при использовании minimize должно предшествовать ключевое слово given, означающее, что решение ищется в рамках вычислительного блока Mathcad.

В варианте 2 вводится ограничение 1  – 0,03, что несколько изменяет результат и, естественно, увеличивает значение остаточной суммы квадратов невязок. Регрессионные параметры в варианте 2 получены равными (– 0,829, – 0,03, 0,173); S = 0,925. Результирующее регрессионное соотношение при введенном ограничении 1  – 0,03 принимает вид: = – 0,829 – 0,03х + 0,173х2. Минимальное значение критерия (0,925) соответствует нижней допустимой границе параметра 1 = – 0,03, при которой остальные параметры определены алгоритмом поиска равными 0 = – 0,829 и 2 = 0,173.