Если при любых неравенство будет строгим, то функция называется строго выпуклой.

Непрерывная строго выпуклая функция является унимодальной. Однако не всякая унимодальная функция является выпуклой или непрерывной.

Определение. Алгоритм поиска минимума функции называется пассивным, если результаты вычислений становятся известными лишь по окончании всех вычислений.

Таким образом, чтобы задать пассивный алгоритм, нужно задать все точки вычисления функции до начала поиска её точки минимума.

Определение. Алгоритм поиска минимума функции называется блочным, если вычисления функции распадаются на блоков по вычислений в каждом блоке, , причем результаты вычислений каждого блока становятся известными перед началом вычислений следующего блока.

2 Алгоритмы поиска нулевого порядка

2.1 Алгоритм пассивного поиска минимума

Отрезок есть исходный отрезок неопределенности. Пусть - число точек, в которых необходимо провести вычисления целевой функции , т.е. экспериментов. Точки и в не входят! Точки, в которых необходимо провести эксперименты, определяются следующим образом:

Среди вычисленных значений , ищется точка , в которой достигается минимум:

Найденная точка принимается за приближенное решение задачи . Исходный отрезок неопределенности после экспериментов в точках сужается до , длина которого равна:

Точность найденного решения равна половине отрезка неопределенности, т.е. , где и - точное решение.

2.2 Алгоритм деления интервала пополам

Схема алгоритма.

Шаг 1. Задаются . Производим эксперимент в точке , т.е. вычисляем .

Шаг 2. Проводим эксперименты в остальных точках блока: находим .

Находим такое, что .

Тогда точное решение содержится на отрезке . Предполагается .

Шаг 3. Полагаем . Если , то и поиск заканчивается. Иначе перейти к шагу 2.

После итераций общее число проведенных экспериментов равно , а длина получившегося отрезка неопределенности будет . Следовательно, достигнутая точность будет , .

2.3 Метод дихотомии

Схема алгоритма.

Шаг 1. Задаются и - малое положительное число, значительно меньшее чем .

Шаг 2. Определяется середина отрезка . Производятся эксперименты в двух точках близких середине: .

Шаг 3. Определяется следующий отрезок локализации, т.е. определяется какой из отрезков или содержит точное решение . Если , то это отрезок и , иначе это отрезок и , т.е. выбранный отрезок локализации мы снова обозначили как .

Шаг 4. Если , то , и поиск заканчивается. Иначе перейти к шагу 2.

После к итераций общее число экспериментов будет , а длина получившегося отрезка неопределенности . Следовательно, .

А теперь перейдём к рассмотрению последовательных методов поиска.

Алгоритм поиска минимума функции называется последовательным, если перед началом очередного вычисления функции становится известным результат предыдущего вычисления.

2.4 Метод золотого сечения

Для того чтобы уменьшить отрезок неопределённости [ ], нам необходимо вычислить значение целевой функции , по крайней мере, в двух точках на отрезке [ ].

Рис.1 Иллюстрация метода золотого сечения

В результате этих двух экспериментов отрезок неопределённости сузится до отрезка [ ] или [ ]. Так как у нас нет никаких оснований предпочесть один из этих вариантов, то точки и должны быть симметричны относительно середины отрезка [ ]. В этом случае длины отрезков [ ] и [ ] будут равны. Таким образом, остаётся вопрос, как выбрать точку .

Рис.2 Начальное разбиение отрезка неопределенности для метода золотого сечения

В методе золотого сечения точка выбирается из соображения, что должно выполняться соотношение:

т.е. точка делит отрезок [ ] по правилу «золотого сечения», где - есть «золотое отношение». Точка определяется как точка симметричная к относительно середины отрезка.

В результате экспериментов у нас получается отрезок неопределённости [ ], содержащий точку , или отрезок неопределённости [ ], содержащий точку . Оказывается, что остающаяся точка на суженном отрезке неопределённости делит его вновь по правилу «золотого сечения». Следовательно, чтобы, в свою очередь, уменьшить новый отрезок неопределённости, нам не достаёт одного эксперимента, а именно, вычисления целевой функции в точке, симметричной к оставшейся точке относительно середины этого нового отрезка. Всё продемонстрировано на рисунке ХХ

Рис.3 Результаты первой итерации для метода золотого сечения

где буквы с верхним индексом обозначают новый отрезок неопределённости. Рассматриваемый вариант соответствует случаю, если новым отрезком неопределённости будет [ ].

В приводимой ниже схеме алгоритма остающиеся отрезки неопределённости переименовываются каждый раз как [ ], а точки, в которых проводятся эксперименты на этом отрезке, обозначается через и , причём . Кроме того, и имеют следующие значения: и .

Схема алгоритма

Шаг 1. Задаются и . Вычисляют .

Шаг 2. а) Если , то полагают и вычисляют .

б) Если , то полагают и вычисляют .

Шаг 3. Если , то переходят к шагу 2. Иначе, если , то полагают и если , то полагают и

Закончить поиск.

После каждой итерации длина отрезка неопределённости уменьшается в раз. Так как первая итерация начинается после двух экспериментов, то после экспериментов длина отрезка неопределённости будет

.