19. В чем состоят достоинства и недостатки метода Хука – Дживса?

Достоинства метода: простая стратегия поиска, вычисление только значений функции, небольшой объём требуемой памяти.

Недостатки: алгоритм основан на циклическом движении по координатам. Это может привести к вырождению алгоритма в бесконечную последовательность исследующих поисков без поиска по образцу.

20. Как связаны между собой одномерные и многомерные методы оптимизации?

21. В чем состоит сущность метода Нелдера-Мида?

Метод Нелдера — Мида, также известный как метод деформируемого многогранника и симплекс-метод, — метод безусловной оптимизации функции от нескольких переменных, не использующий производной (точнее — градиентов) функции, а поэтому легко применим к негладким и/или зашумлённым функциям.

Суть метода заключается в последовательном перемещении и деформировании симплекса вокруг точки экстремума.

Метод находит локальный экстремум и может «застрять» в одном из них. Если всё же требуется найти глобальный экстремум, можно пробовать выбирать другой начальный симплекс. Более развитый подход к исключению локальных экстремумов предлагается в алгоритмах, основанных на методе Монте-Карло, а также вэволюционных алгоритмах.

22. В чем состоят достоинства и недостатки метода Нелдера-Мида?

метод Нелдера-Мида является очень эффективным алгоритмом поиска экстремума функции многих переменных, не накладывающим ограничений на гладкость функции. На каждой итерации алгоритма производится как правило одно-два вычисления значений функции, что чрезвычайно эффективно если эти вычисления очень медленны. Кроме того, алгоритма очень прост в реализации. Главным же его недостатком является отсутствие теории сходимости и наличие примеров, когда метод расходится даже на гладких функциях.

23. Из каких операций строится метод Нелдера-Мида?

Инициализация.Произвольным образом выбирается   точка  , образующие симплекс n-мерного пространства. В этих точках вычисляются значения функции:  .

1. Сортировка. Из вершин симплекса выбираем три точки:   с наибольшим (из выбранных) значением функции  ,   со следующим по величине значением   и  с наименьшим значением функции  . Целью дальнейших манипуляций будет уменьшение по крайней мере  .

2. Найдём центр тяжести всех точек, за исключением  . Вычислять   не обязательно.

3. Отражение. Отразим точку   относительно   с коэффициентом   (при   это будет центральная симметрия, в общем случае — гомотетия), получим точку   и вычислим в ней функцию:  . Координаты новой точки вычисляются по формуле 

4. Далее сравниваем значение   со значениями  :

4а. Если  , то производим растяжение. Новая точка   и значение функции  .

Если  , то заменяем точку   на   и заканчиваем итерацию (на шаг 8).

Если  , то заменяем точку   на   и заканчиваем итерацию (на шаг 8).

4b. Если  , то заменяем точку   на   и переходим на шаг 8.

4с. Если  , то меняем обозначения   (и соответствующие значения функции) местами и переходим на шаг 5.

4d. Если  , то переходим на шаг 5.

5. Сжатие. Строим точку   и вычисляем в ней значение  .

6. Если  , то заменяем точку   на   и переходим на шаг 8.

7. Если  , то производим сжатие симплекса — гомотетию к точке с наименьшим значением  :   для всех требуемых точек  .

8. Последний шаг — проверка сходимости. Может выполняться по-разному, например, оценкой дисперсии набора точек. Суть проверки заключается в том, чтобы проверить взаимную близость полученных вершин симплекса, что предполагает и близость их к искомому минимуму. Если требуемая точность ещё не достигнута, можно продолжить итерации с шага 1.