4. Теория оптимизации

Термин «оптимизация», «улучшение ситуации», в математике обозначает процесс поиска наилучших с некоторой точки зрения параметров системы, в моделировании – поиск таких значений параметров модели, которые обеспечивают наибольшее сходство модельных и реальных переменных, минимизируют функцию невязки (целевую функцию оптимизации). Обозначим параметр модели (характеристику системы) через a, функцию невязки – через F(a). Общая задача оптимизации состоит в том, чтобы найти такие a, при которых

F(a) = 0 (Иванищев и др., 1989, с. 68).

Для решения задач такого рода используются численные методы последовательного приближения к правильному решению, методы итераций. В их числе метод Ньютона, градиентные методы.

Модель с одним параметром

Возьмем для начала простейшую модель с одним параметром a:

Y' = f(a, X, Y).

Пусть модель строится для имитации изменения ряда реальных значений переменной Y, зависящей от внешней переменной X. Отличие расчетных значений от модельных характеризует функция невязки, или целевая функция оптимизации, F(a) = S(Y'–Y)². Общая задача оптимизации состоит в том, чтобы найти такое значение параметра модели a, при котором отличие модельных предсказаний от реальных данных было бы минимальным, т. е. целевая функция отличий F(a) обнулилась:

a ® оптимум,

F(a) ® 0.

В этом плане оптимизация есть последовательный (повторяющийся, итеративный) поиск все новых значений параметра a_i+1, которые были бы лучше, чем предыдущие значения a_i, лучшие в том смысле, что при подстановке их в модельное уравнение функция отличий приблизилась бы к нулю:

если 0< F(a _i+1) < F(a _i), то a_i+1 лучше, чем a_i.

По этой причине задача настройки параметров модели есть задача минимизации.

При расчете нового значения параметра a_i+1 обычно используют предыдущее значение a_i, измененное на некоторую величину V(a_i) (уравнение итерации) (Васильев, 1988, с. 261):

a_i+1 = a_i + k · V(a_i), [1]

где

i – номер шага оптимизации (шаг итерации),

k – коэффициент пропорциональности со своим знаком.

Это вычисление требуется для «улучшения» значения параметра. Но это значит, что прибавка V(a_i) еще до расчета нового значения a_i+1 должна каким-то образом улавливать, что это улучшение произойдет. Контроль за будущим значением параметра осуществляется двояким образом: по величине и по знаку прибавки V(a_i).

Во-первых, чем больше функция невязки, т. е. чем «хуже» прежнее значение параметра, тем больше должно быть приращение, чтобы за один шаг максимально улучшить модель. Иными словами, приращение должно быть пропорционально функции невязки:

V(a_i) ~ F(a_i).

Новая формула итерации примет вид:

a_i = a_i+1 + k · F(a_i). [2]

Второй момент вычисления приращения V(a_i) состоит в том, чтобы определить направление оптимального изменения параметра (уменьшать его или увеличивать), т. е. распознать знак перед приращением. Для этого требуется уловить динамику процедуры оптимизации, динамику изменения функции F(a). Задача состоит в том, чтобы определить, как изменится целевая функция, если параметр изменится на величину Da_i, какой знак будет иметь отношение приращения целевой функции

DF(a_i) = F(a_i) – F(a_i+Da),

к приращению параметра на величину Da , т. е. какой знак будет иметь величина

F'(a_i) = DF(a_i) / Da = [F(a_i) – F(a_i+Da)] /Da ?

Это уравнение вычисляет дискретный аналог производной, характеризующей как раз скорость и направление преобразования некой функции (в нашем случае – целевой функции) (рис. 4.1), в нем фигурируют три члена:

Da – условное приращение параметра; это малая величина, она задается в условиях программы оптимизации (см. свойства макроса «Поиск решения"),

F(a_i) – значение целевой функции, вычисленное при прежнем значении параметра,

F(a_i+Da) – значение целевой функции, вычисленное при измененном значении параметра.

Р

F(a_i+Da)

ис. 4.1. Целевая функция и дискретный аналог ее производной

Если положительное приращение Da уменьшает целевую функцию F(a_i)<F(a_i+Da) и сохраняет положительный знак перед приращением DF(a_i), значит, знак перед F'(a_i) остается положительным. Если же функция невязки увеличилась, то знак перед F'(a_i) поменяется на противоположный.

Рассмотренные идеи автоматического определения и величины, и знака приращения значения параметра лежат в основе метода Ньютона:

V(a_i) = F(a_i)/ F'(a_i)

или

a_i+1 = a_i + F(a_i)/ F'(a_i) (Турчак, 1987; с. 159). [3]

С технической стороны вся процедура оптимизации выглядит следующим образом. Сначала для произвольно взятого значения модельного параметра (a₀) вычисляется исходное значение целевой функции F(a₀) (как было показано выше, исходные значения параметров моделей задаются с учетом знания о существе моделируемого явления). После этого отыскивается первое условное приращение параметра Da, исходя из установленных свойств программы оптимизации, затем вычисляется «рабочее» новое значение параметра a₀ + Da и «рабочее» новое значение целевой функции F(a₀ + Da). Так получают характеристики двух шагов итерации, после чего появляется возможность для расчета величины и знака приращения параметра V(a₀), а также и самого нового значения параметра a₁ по формуле [3]. Используя рассчитанное обновленное значение параметра, вычисляется новое значений целевой функции F(a₁), после чего процедура повторяется по тех пор, пока решение не станет «оптимальным», т. е. пока целевая функция не станет равна нулю или не перестанет уменьшаться.

Здесь уместно сравнить величины приращений Da и V(a_i), каждая из которых в свое время прибавляется к текущему значению параметра a_i. Отличие их состоит в том, что сумма (a₀ + Da) служит только для определения «оптимального» направления дальнейшего изменения параметра, но не участвует в получении его окончательного нового значения. Сумма (a_i + V(a_i)), напротив, используется только для получения очередного, «более оптимального» значения, параметра a_i+1.

Серия вычислений производит последовательность значений параметра: a₁, a₂, … a_i-1, a_i, a_i+1, … a_n, которая может сходиться, т. е., в конце концов, приблизиться к некоторому стабильному значению a_i. В наилучшем случае функция невязки превращается в нуль. Отсюда следует основной смысл уравнений итерации [1, 2, 3]: когда целевая функция F(a_i) становится равной нулю, найденный параметр a_i считают решением уравнения (Заварыкин и др., 1990, с. 13–17).

Обычно между моделью и реальностью остается определенное несоответствие, целевая функция F(a_i) отличается от нуля, значения модельных переменных лишь в общих чертах демонстрируют сходство своей динамики с реальной системой. Более того, с каждой итерацией величина ее изменений становится все менее существенной. Процесс схождения «до нуля» может затянуться до бесконечности при отсутствии существенных улучшений модельного описания. По этой причине процесс оптимизации важно вовремя остановить, а именно в том момент, когда достигнутая величина очередного приращения станет, на наш взгляд, несущественной, меньше некоторой изначально заданной малой величины (), т. е. когда выполнится условие:

F(a_i) – F(a_i+1)< .

Значение этой относительной погрешности выбирают порядка  = 0.000001; его можно изменить в параметрах макроса «Поиск решения».

Имитационные модели, как правило, содержат больше одного параметра. В этом случае используются многомерные методы оптимизации, в числе которых методы градиентные, случайного поиска, квазиньютоновский метод.