5. Метод наискорейшего спуска

Метод представляет собой сочетание методов градиента и Гаусса-Зейделя. Направление движения из очередной точки берется по антиградиенту, а поворот осуществляется в точке, в которой достигается минимальное значение функции (частный экстремум).

Как правило, метод наискорейшего спуска требует вычисления градиента в меньшем количестве точек, чем градиентные методы с постоянным шагом или с шагом, пропорциональным модулю градиента F. Следует отметить, что этот метод предполагает регулярное проведение статистического анализа промежуточных результатов на пути к экстремуму.

После определения градиента в точке х^h, производится движение по антиградиенту вдоль прямой

х^h+1 = х^h – l F(х^h)

до точки, в которой достигается минимальное значение функции;

l – расстояние от точки h до точки h+1.

Направление F(х^h) является касательным к линии (поверхности) уровня в точке х^h+1.

Затем в этой точке снова определяется градиент Движение совершается по прямой согласно нового антиградиента и т.д., пока не будет достигнута точка, соответствующая наименьшему значению функции или не будет пересечена граница допустимой области. Точка минимального значения функции вдоль очередной прямой определяется одним из однопараметрических методов оптимизации.

Более просто находится экстремум, если целевая функция задана в явном виде. Для нахождения очередной точки поворота х^h+1 записываются ее координаты

Координаты предыдущей точки h и составляющие градиента в этой точке известны. Выражения для подставляются в формулу целевой функции. Теперь эта функция будет зависеть от единственной переменной l, так как движение происходит по уже выбранной прямой F(l). Экстремум функции по этому направлению и есть экстремум F(l) среди всех положительных l. Находим

Отсюда определяем l_макс. Координаты точки поворота будут

и т.д.

Если функция не дифференцируемая, то составляющие градиента определяются путем 2п пробных шагов возле очередной точки поворота.

Н

y₁ < y₂ < … < y₅

а рис. 4.30 представлен поиск экстремума методом наискорейшего спуска.

Рисунок 4.30.

6. Метод случайного поиска

Характерная черта метода – случайный выбор направления движения на каждом шаге. Так, если изображающая точка после i-го шага занимает положение в факторном пространстве, то следующий рабочий шаг будет совершен лишь после выполнения пробного эксперимента в точке

где – случайный вектор определенной длины (рис. 4.31).

Значения функций и сравниваются, и производится (i+1)-й рабочий шаг вдоль вектора по направлению к экстремуму. Как правило, длина рабочего шага превышает длину пробного.

Критерием выхода в область экстремума целевой функции является возрастание числа неудачных шагов, т.е. многократного повторения положения, когда

>.

y₁ < y₂ < … < y₅

Рисунок 4.31.

Метод прост, однако он применим лишь для очень простых ситуаций.

Основной недостаток метода – большая трудоемкость и длительность поиска экстремума.

Вопросы для самоконтроля

1. Какие модели используются в большой системе, их особенности.

2. Что такое наука «Исследования операций» (ИО).

3. Какие задачи решает наука «Исследования операций».

4. Методологические особенности ИО.

5. Основные этапы операционного исследования.

6. Что такое случайная функция.

7. Что характеризует автокорреляционная функция.

8. Что характеризует взаимная корреляционная функция.

9. Что такое случайный процесс.

10. Что такое марковский случайный процесс.

11. Как представляется и рассчитывается марковский процесс.

12. Правило составления дифференциальных уравнений.

13. Как решаются дифференциальные уравнения.

14. Что такое поток событий.

15. Свойства простейшего потока событий.

16. Какие потоки событий Вам известны.

17. Что такое теория массового обслуживания.

18. Как классифицируются системы массового обслуживания (СМО).

19. Какие показатели характеризуют многоканальную СМО с отказами.

20. Какие показатели характеризуют одноканальную СМО с неограниченной очередью.

21. Что такое оптимизация.

22. Задачи оптимизации при конструировании и в технологии.

23. Что такое функция отклика и поверхность отклика.

24. Какие существуют экстремумы.

25. Две задачи оптимизации.

26. Этапы оптимизации.

27. Постановка задачи оптимизации.

28. Когда возникает задача оптимизации.

29. Методы оптимизации.

30. Отличие численных методов оптимизации от аналитических.

31. Основной недостаток численных методов оптимизации.

32. Как классифицируются численные методы оптимизации.

33. Методы однопараметрической оптимизации.

34. В чем состоят методы общего поиска, половинного разбиения и дихотомии.

35. Особенности методов золотого сечения и Фибоначчи.

36. Метод множителей Лагранжа, его применение.

37. Метод линейного программирования, его применение и способы осуществления.

38. Метод Гаусса-Зейделя.

39. Метод градиента.

40. Метод наискорейшего спуска.

41. Метод случайного поиска.