33.Метод поиска экстремума по статистическому градиенту.
В методе статистического
градиента по m
пробам составляется
векторная сумма
являющаяся статистической
оценкой градиента ЦФ. Рабочий шаг
осуществляется в направлении градиента:
При m→∞ направление
статистического градиента стремится
по вероятности к направлению градиента
. При m=n, где n – число переменных ЦФ, а m
– число неслучайных
ортогональных проб
, рассматриваемый алгоритм вырождается
в детерминированный метод градиента.
ДГМ на каждом шаге требует (n+1) вычисление,
а СГМ достаточно вычислить
. График удельных потерь (результат
деления потерь на успех):
34. Сформулируйте алгоритм случайного поиска с парными пробами.
В методе поиска
с парными пробами предполагается
четкое разделение между пробным и
рабочим шагами. Направление рабочего
шага выбирается после двух пробных
шагов из исходной точки X0
в точки X1
и X2
вдоль случайного
направления :
гдеg—величина
пробного шага;
—
равномерно распределенный единичный
случайный вектор
Для рабочего шага поиска
принимается направление, соответствующее
наименьшему значению целевой функции;
это направление выбирается исходя из
следующих условий:
гдеa—величина
рабочего шага поиска, обычно a<g.
35.Что понимают под термином «адаптация» и «самообучение» в алгоритмах случайного поиска?
Гораздо более эффективными и хорошо зарекомендовавшими себя практике являются адаптивные алгоритмы случайного поиска глобального экстремума. Их основная идея заключается в том, что поиск ведется не из какой-то одной начальной точки, а по всей области, и в процессе его выполнения изменяется закон распределения генерации вектора рабочих параметров (точек, в которых вычисляется значений целевой функции). Обычно на начальных этапах распределение является равномерным, а затем плотность вероятности увеличивается в районе предполагаемого оптимума.
Поиск с самообучением отличается тем, что функция детерминирована, т.е. является регулярной зависимостью нового состояния w(1) от результата х и предыдущего состояния w.
36. Перечислите основные типы адаптации в алгоритмах случайного поиска
Наиболее естественная – адаптация величины рабочего шага. Описанные выше методы статистического поиска можно сделать эффективнее за счет изменения параметров поиска в процессе оптимизации. Рассмотрим некоторые методы изменения размера шага поиска. Очевидно, что от размера шага зависит сходимость метода оптимизации. Если задавать большой шаг, то спуск к минимуму осуществляется быстрее, однако алгоритм поиска становится "нечутким ", есть возможность зацикливания в районе экстремума. Малый шаг удобен при работе в непосредственной близости экстремума, но на больших расстояниях от него он не эффективен. Поэтому введение автоматически изменяющегося масштаба поиска существенно улучшает его сходимость и точность. Необходимо так изменять масштаб поиска, чтобы на значительном расстоянии от экстремума шаг поиска увеличивался и по мере приближения к нему уменьшался.
Изменение масштаба поиска можно производить по результату одной или нескольких удачных попыток (вводить накопление), учитывая при этом качество предыдущих попыток. В этом случае алгоритм поиска осуществляет более эффективные итерации. Наиболее простым способом автоматической настройки масштаба шага является использование результатов последней итерации. Поиск при максимальном масштабе наиболее эффективен. Существенно также то, что при большом масштабе поиск приобретает нелокальные свойства и становится менее чувствительным к погрешностям вычислений, сшибкам округлений и к незначительным локальным особенностям оптимизируемой функции. С помощью таких алгоритмов можно оптимизировать целевые функции типа "овраг" и "гребень".