Экстремальные и оптимальные методы в инженерной деятельности. Учебное пособие

3.6.Градиентныеметодымногомернойоптимизации

Вектор-градиент направлен в сторону наискорейшего возрастания функции в данной точке. Вектор, противоположный градиенту (–f  ′(x 0)), называется антиградиентом и направлен в сторону наискорейшего убывания функции. В точке минимума градиент функции равен нулю. На свойствах градиента основаны косвенные методы оптимизации первого порядка, называемые также градиентными методами минимизации. Использование этих методов в общем случае позволяет определить точку локального минимума функции.

Метод градиента. Основная его идея состоит в том, чтобы двигаться к минимуму в направлении наиболее быстрого убывания функции, которое определяется антиградиентом. Эта идея реализуется следующим образом.

Выберем каким-либо способом начальную точку, вычислим в ней градиент рассматриваемой функции и сделаем небольшой шаг в обратном (антиградиентном) направлении. В результате мы придем в точку, в которой значение функции будет меньше первоначального. В новой точке повторим процедуру: снова вычислим градиент функции и сделаем шаг в обратном направлении. Продолжая этот процесс, мы будем двигаться в сторону убывания функции. Получаем итерационный процесс вида

i

где fk = f (x1k, …, xnk).

Шаг интегрирования λk выбирается из условия убывания функции f на каждом этапе вычислений:

Правильный выбор шага λk, обеспечивающий наиболее быструю сходимость к минимуму, является в итерационном процессе задачей наиболее важной, но и наиболее трудной. Выбор очень маленького шага приводит к длительным вычислениям, при слишком большом шаге условие (3.2) перестает выполняться (в районе оптимума может возникнуть «рыскание», которое либо не затухает, либо затухает слишком медленно).

Градиентные методы различаются способами выбора градиентного шага λk. Наиболее простой из них состоит в том, что на каждой итерации берут одно и то же значение шага λk = λ, если только при этом вы-

51

Глава 3. Методы нелинейного программирования

полняется условие монотонности (3.2). При нарушении условия (3.2) число λ уменьшают, пока монотонность не восстановится.

В качестве критерия останова итерационного процесса используют либо выполнение условия малости приращения аргумента |xk + 1 – xk| ≤ ε либо выполнение условия малости функции

|f (xk + 1) – f (xk)| ≤ γ.

Здесь ε, γ — заданные малые величины.

Возможен и комбинированный критерий, состоящий в одновременном выполнении указанных условий.

Алгоритм метода градиента

1. Выбираем начальную точку (x10 , ..., xn0) и шаг h; ε — точность вычислений, t — число, на которое шаг уменьшается.

2. По формуле (3.1) вычисляем первое приближение (x11, ..., xn1 ). 3. Проверяем условие (3.2). Если оно выполняется, то по форму-

ле (3.1) вычисляем второе приближение при том же шаге. В противном случае уменьшаем шаг и повторяем вычисления, связанные с первым приближением.

4. Аналогично находятся следующие приближения.

Процесс заканчивается, как только f (x) перестает изменяться в пределах желаемой точности ε, т. е. при достижении условия

|f (xk + 1) – f (xk)| ≤ ε.

Метод наискорейшего спуска. Это разновидность метода градиента, обеспечивающая наименьшее число шагов в определении оптимума. Суть его сводится к следующему. После определения градиента функции f (x) делаем шаг в направлении, обратном градиенту. Если значение целевой функции при этом уменьшилось по сравнению с исходным, то делаем очередной шаг в том же направлении, а не определяем заново градиент, как при методе градиента. Если же после очередного шага значение целевой функции увеличилось по сравнению с предыдущим значением, то движение прекращаем, заново определяя направление градиента и т. д. Повышенная скорость сходимости является существенным преимуществом этого метода.

При использовании метода наискорейшего спуска на каждой итерации величина шага λk выбирается из условия минимума функции f (x) в направлении спуска:

52

Это условие означает, что движение в направлении антиградиента происходит до тех пор, пока значение функции f (x) убывает. С математической точки зрения на каждом шаге итерации необходимо решать задачу одномерной минимизации по λ функции

φ (λ) = f (xk — λf  ′(xk)).

Алгоритм метода наискорейшего спуска

1. Задаем координаты начальной точки x 0.

2. В точке xk, k = 0, 1, 2, …, вычисляем значение градиента f  ©(xk). 3. Определяем величину шага λk путем одномерной минимизации

по λ функции

φ (λ) = f (xk — λf  ′(xk)). 4. Определяем координаты точки xk+1:

xik 1 xik k fi © (x k ), i = 1, …, n.

5. Проверяем условия остановки итерационного процесса. Если они выполняются, то вычисления прекращаем. В противном случае осуществляем переход к п. 2.

Проверьсебя

1. Дополните предложение.

Задача … — это задача с нелинейной целевой функцией и линейной системой ограничений.

2. Дополните предложение.

Задача … — это задача с линейной целевой функцией и системой нелинейных ограничений.

3. Дополните предложение.

Задача … — это задача с нелинейной целевой функцией и системой нелинейных ограничений.

4. Дополните предложение.

… — значение вектора входных параметров и соответствующая ему целевая функция, достигающая экстремального значения.

53

Глава 3. Методы нелинейного программирования

5. Дополните предложение.

…оптимальное решение — это значение целевой функции, экстремальное в некоторой окрестности.

6. Дополните предложение.

…оптимальное решение — это экстремальное значение целевой функции на всей области допустимых решений.

7. Дополните предложение.

… — множество точек n мерного пространства, содержащее вместе с любыми двумя точками А и В и все точки отрезка АВ.

8. Дополните предложение.

…точка выпуклой (вогнутой) области — это точка, для которой сколь угодно малая окрестность содержит только точки данной области.

9. Дополните предложение.

…точка выпуклой (вогнутой) области — это точка, в сколь угодно малой окрестности которой содержатся точки, принадлежащие

ине принадлежащие области.

10.Дополните предложение.

…точка выпуклой (вогнутой) области — это точка является граничной точкой выпуклой (вогнутой) области и не лежит внутри отрезка, соединяющего две другие точки области.

11. Дополните предложение.

…выпуклая (вогнутая) область — это область, которая включает в себя все граничные точки.

12. Дополните предложение.

…выпуклая (вогнутая) область — это область, для которой ради- ус-вектор, соединяющий начало координат с любой точкой области, всегда меньше некоторого заданного числа, большего нуля.

13. Дополните предложение.

… — это выпуклая (вогнутая) замкнутая ограниченная область, которая имеет конечное число угловых точек.

14. Дополните предложение.

… — это любой вектор входных параметров, удовлетворяющий условиям ограничений, заданных в виде равенств или неравенств.

15. Дополните предложение.

… — множество допустимых векторов или точек.

54

Проверьсебя

16. Дополните предложение.

… — наилучшее решение (но не экстремальное) на границе области допустимых решений.

17. Дополните предложение.

Ограничения в виде неравенств обеспечивают нахождение вектора входных параметров … области допустимых решений.

18. Дополните предложение.

Ограничения в виде равенств обеспечивают нахождение вектора входных параметров на ….

19. Дополните предложение.

… — множество точек, для которых целевая функция имеет постоянное значение.

20. Дополните предложение.

Если в какой-либо точке функция непрерывна и дифференцируема, то в этой точке существует … целевой функции.

21. Дополните предложение.

…указывает направление наискорейшего возрастания (подъема) функции.

22. Дополните предложение.

…указывает направление наискорейшего убывания функции. 23. Дополните предложение.

…определяется как вектор-столбец первых частных производных функции по аргументу.

24. Дополните предложение.

Если вторые производные целевой функции положительно определены, то экстремум целевой функции — это … значение функции.

25. Дополните предложение.

Если вторые производные целевой функции отрицательно определены, то экстремум целевой функции — это … значение функции.

55

Глава 4. Статистические модели. Уравнение регрессии. Метод наименьших квадратов

4.1.Статистическое моделирование

Научно-технический прогресс последних десятилетий характеризуется не только достижениями в разработке высоких технологий и фундаментальных наук, но и накоплением

огромного количества экспериментальных и наблюдательных данных. Например, один из последних звездных каталогов, составленный по наблюдениям на телескопе, установленном на искусственном спутнике Земли, содержит высокоточные сведения о более чем миллионе звезд, причем эти данные были получены всего за несколько лет работы телескопа. И этот результат получен благодаря не только отличной конструкции телескопа, но и умелой обработке такого огромного наблюдательного материала при помощи ЭВМ. Широкое внедрение компьютеров в процесс обработки большого количества результатов экспериментов позволяет не только получать надежные результаты, но и выявлять новые закономерности в изучаемых явлениях.

При таких исследованиях применяется статистическое моделирование, то есть разработка разнообразных моделей, которые отображают статистические закономерности описываемого объекта, явления (тенденции развития, взаимосвязи, степень воздействия и т. д.).

Статистическое моделирование заключается в теоретическом обос­ новании выбора вида модели и оценивании ее параметров на основе экспериментальных данных, проверке адекватности выбранного вида модели реальным данным.

56

4.2.Алгоритмыприближенияфункций. Интерполяция.Аппроксимация

Объектами статистического моделирования являются различные распределения случайных величин, модели случайных процессов, эко- номико-статистические модели, уравнения регрессии, модели управления запасами и т. д. Общей специфической чертой этих моделей является учет случайных возмущений или отклонений.

В этой главе рассматривается метод построения математических моделей зависимостей в изучаемых явлениях в виде полиномов конечного числа степеней. На примере аппроксимации парной зависимости полиномом первой степени излагаются метод наименьших квадратов обработки экспериментальных данных и способы статистического оценивания достоверности полученных результатов.

4.2. Алгоритмы приближения функций. Интерполяция. Аппроксимация

Результаты экспериментов обычно бывают представлены ограниченным числом в виде таблиц, отражающих зависимость величины исследуемого явления y от фактора x. Для практического же применения, как правило, бывает необходимо знать и промежуточные по отношению к табличным значениям y.

Если бы была известна форма зависимости y = f (x), то это означало бы, что любому значению x из области определения поставлено

всоответствие значение y. На практике явная связь между y и x обычно неизвестна. Поэтому возникает необходимость приближенной замены данной функции f (x) некоторой функцией g (x). (Заметим здесь, что такая же задача возникает в том случае, если зависимость известна, но она настолько громоздка, что ее использование в практических расчетах затруднительно. Процедура же нахождения функции называется приближением к функции f (x).)

Различают два основных способа выбора приближения функций: интерполяцию и аппроксимацию.

Пусть функция f (x) задана таблицей ее значений y = y0, y1, …, yn

вточках x = x0, x1, …, xn, называемых узлами интерполяции. Задача интерполяции состоит в выборе такой функции g (x), которая в уз-

лах xi принимала бы те же значения, что и f (x), т. е. g (x) = yi, i = 1, 2, …, n. Как правило, в качестве интерполирующих функций выбира-

57

Глава 4. Статистические модели. Уравнение регрессии. Метод наименьших квадратов

ют многочлены. Поскольку число узлов равно n + 1, то степень многочлена равна n.

Во многих случаях, особенно когда значения функции f (x) получены экспериментально и содержат погрешности, нет необходимости точного совпадения значений g (x) и f (x) в узловых точках. К тому же, надо отметить, с увеличением n трудности построения интерполяционного многочлена существенно возрастают. Поэтому для практики можно пользоваться многочленом меньшей степени k (k < n) или аналитической зависимостью иного вида, но график которой проходил бы достаточно близко от точек (xi, yi) на всем протяжении интервала изменения x. Например, часто бывает достаточно иметь линейную функцию или квадратный трехчлен для отражения основных, представляющих практический интерес закономерностей исследуемой зависимости. Обычно вопрос выбора типа кривой зависимости часто решается непосредственно по внешнему виду экспериментальной зависимости. Например, если речь идет о периодической функции, можно выбрать несколько гармоник тригонометрического ряда. Очень часто бывает, что вид зависимости известен из физических соображений, а из опыта требуется установить только некоторые параметры этой зависимости.

Процедура построения функции, исходя из заранее определенного понятия близости, называется аппроксимацией.

На практике часто приходится решать задачу об определении многочлена степени k (k < n):

Pk (x) = akxk + ak–1xk–1 + … + a1x + a0,

«расстояние» между которым и функцией f (x) в некотором смысле минимально. Такой многочлен (называемый аппроксимирующим данную функцию) сглаживает локальные особенности заданной экспериментальной таблицы (часто связанные с неизбежными погрешностями самого наблюдения) и отражает общее поведение функции f (x) вдоль всего интервала ее изменения.

Для решения подобных задач используется метод, известный под названием «метод наименьших квадратов».

58

4.3.Методнаименьшихквадратов

4.3. Метод наименьших квадратов

При изучении физических явлений всегда проводится конечное (дискретное) число измерений. Зависимости между величинами в науке являются непрерывными функциями (принимают континуальное множество значений). Следовательно, важной задачей является разработка метода, позволяющего дискретные закономерности, полученные экспериментальным путем, отождествить с континуальными зависимостями, необходимыми для теоретических исследований и расчетов.

В методе наименьших квадратов рассматривается выборка двух взаимосвязанных дискретных случайных величин X и Y. Пара (xi, yi), где 1 ≤ i ≤ n соответствует i й точке (i му опыту). Здесь n — объем парной выборки.

Для удобства последующего использования табличные (опытные) данные моделируют некоторой функцией, которую называют уравнением регрессии

Y = f (X).

Процедура построения регрессионной (статистической) модели предусматривает, во первых, выбор функции f (X).

В качестве функции чаще всего используют полином Y = a0 + a1 · X + … + ak · X,

где aj — коэффициенты регрессии (0 ≤ j ≤ k); k — порядок полинома. На втором этапе построения модели определяют коэффициенты регрессии ak, то есть осуществляют аппроксимацию опытных точек. Уравнение регрессии позволяет вычислить ожидаемое значение

функции Y для опытных значений xi:

Разность между опытным значением yi и ожидаемым значением Y (xi) составляет ошибку или погрешность функции:

Yi = yi – Y (xi).

Аппроксимация может быть произведена при разных требованиях к величине Yi. Наиболее распространенным является требование минимизации суммы квадратов отклонений опытных точек от ли-

59

Глава 4. Статистические модели. Уравнение регрессии. Метод наименьших квадратов

нии регрессии. Это требование называют принципом Лежандра, согласно которому коэффициенты регрессии aj должны быть подобраны так, чтобы сумма

принимала минимальное значение.

Метод определения коэффициентов регрессии по принципу Лежандра называют методом наименьших квадратов.

Искомые коэффициенты регрессии находятся из решения системы уравнений:

U 0,

aj

или

В простейшем случае k = 1, то есть полином первой степени, уравнение регрессии (4.1) принимает вид

60