Ответы на вопросы по материалам курса МО

Вначале поиска используют достаточно большой шаг, а затем его уменьшают. Недостаточная длина рабочего шага поиска приводит к возрастанию вероятности «застревания» в локальном экстремуме.

Врассматриваемом алгоритме случайность вводится как отрицательная реакция на неудачный шаг.

Алгоритмы поиска с «наказанием» случайностью предполагают смещение зоны поиска

вблагоприятном направлении сразу после удачного шага.

Поиск парными пробами Предполагается четкое разделение между пробным и рабочим шагами. Направление

рабочего шага выбирается после двух пробных шагов из исходной точки X0 в точки X1 и X2 вдоль случайного направления:

Поиск по наилучшей пробе

Характеризуется проведением m случайных пробных шагов из исходной точки Xj-1 , в точки X1, X2,..., Xm так, что

16.Самообучение в методах случайного поиска. Поиск с обучением по одной попытке (жесткое и нежесткое обучение).

Идея самообучения при поиске экстремума сводится к накоплению в ходе поиска информации об оптимизируемой системе, выработке и уточнению в ходе поиска некоторых вероятностных гипотез о наилучшем направлении смещения центра зоны поиска и к использованию этих гипотез при формировании очередных шагов.

Предыдущие шаги рассматриваются при этом как результаты испытаний системы, дающие представление о благоприятном направлении оптимизации.

Вектор в этом случае перестает быть равновероятным и в результате самообучения приобретает некоторые преимущества в направлении наилучшего шага.

Обучение обычно начинается в обстановке равновероятного поиска, а затем по мере накопления информации о системе приобретает некоторые сведения в виде оценок

11

наилучшего направления движения системы к экстремуму. По мере накопления опыта дисперсия этих оценок должна уменьшаться. Введение случайности в этом случае играет роль средства прощупывания системы с целью определения наиболее эффективного направления оптимизации. В ряде случаев производится изменение структуры алгоритма обучения («переучивание»), если изменились условия функционирования системы или обучение было неточно.

Поиск с обучением по одной попытке Случайность вводится после повторного неудачного шага. Смещение на каждом шаге

поиска производится следующим образом: Xj+1=Xj+ . При удачном шаге. После первого неудачного шага центр зоны поиска смещается в направлении, противоположном неудачному, т.е. , а при следующем неудачном шаге направление смещения выбирается случайным

Рассмотренный алгоритм напоминает поиск с «наказанием» случайностью и является

алгоритмом «жесткого» обучения по одной попытке

Нежесткое обучение по одной попытке Предусматриваем автоматическое изменение масштаба, т.е. при удачном шаге

, а при неудачном шаге , причем d1>d2>=1

Существуют также разновидности алгоритмов поиска с самообучением по нескольким шагам и непрерывного обучения.

Улучшенная сходимость методов направленного случайного поиска с элементами самообучения по сравнению с методом ненаправленного случайного поиска достигается за счет снижения универсальности метода.

17. Адаптация в методах случайного поиска.

Адаптацией называется целенаправленный процесс изменения различных параметров поиска (например, шага) для повышения его эффективности. Процесс адаптации можно вводить и в детерминированные методы.

Адаптация величины рабочего шага От размера шага зависит сходимость метода: большой шаг дает быстрое приближение

к экстремуму, но появляется вероятность «блуждания» около него. Малый шаг не позволяет быстро достигнуть экстремума, но удобен для работы внутри его окрестности. Поэтому целесообразно вводить процедуру автоматического изменения шага. На значительном расстоянии от ext шаг должен увеличиваться, а по мере приближения к ext он должен уменьшаться. Изменение шага может осуществляться по результатам одной или нескольких попыток

Структурная адаптация Осуществляется за счет параметризации структуры алгоритма, т.е. введения

параметров, которые определяют структуру алгоритма поиска

Если {Fi} – конечное множество возможных алгоритмов поиска, тогда их линейная комбинация

образует поиск, параметрами которого являются числа Ui. Если же снять эти ограничения, то получим гибридную структуру алгоритма.

12

Рассмотренные методы направленного случайного поиска носят локальный характер и имеют малую эффективность в задачах с многоэкстремальной целевой функцией.

Уменьшение риска потери глобального экстремума требует равномерного и достаточно полного просмотра всей области определения целевой функции (т е. использования элементов ненаправленного случайного поиска).

18.Метод случайного поиска экстремума функции по статистическому градиенту, блуждающие методы случайного поиска.

Вметоде статистического градиента по m пробам составляется векторная сумма

являющаяся статистической оценкой градиента ЦФ. Рабочий шаг осуществляется в направлении градиента:

При направление статистического градиента стремится по вероятности к направлению градиента. При m=n, где n-число переменных ЦФ, а m-число случайных

ортогональных проб , рассматриваемый алгоритм вырождается в детерминированный метод градиента.

Различают независимые, блуждающие и комбинированные методы глобального поиска экстремума.

Блуждающие методы поиска сходны с методами направленного случайного поиска, но отличаются от них введением случайных воздействий на направление поиска и повышением «инерционности» метода, т.е. его способности двигаться в ранее выбранном направлении при изменении ситуации.

Принцип их таков: берется детерминированный метод, например градиентный, и на

попав в локальный минимум целевой функции, поиск задерживается в них тем дольше, чем меньше значение целевой функции в соответствующем экстремуме. Если при этом плавно уменьшать значение коэффициента при случайном векторе, то точка исследования попадает в глобальный минимум и никогда оттуда не выйдет.

19. Эволюционные вычисления.

Потребности в решении задач дискретной оптимизации имеют место в различных приложениях и, в первую очередь, при проектировании технических объектов и при управлении сложными процессами. Наиболее важные задачи в этих приложениях относятся к классу NP-трудных и характеризуются большими размерностями. Для решения таких задач применение известных точных методов оптимизации оказывается, как правило, невозможным. Поэтому находят применение приближенные методы оптимизации, среди которых перспективными зарекомендовали себя эволюционные методы. В настоящее время активно изучаются и развиваются три группы эволюционных методов – генетические методы

(Genetic Algorithms - GA), методы поведения «толпы» (Particles Swarm Optimization - PSO) и методы «колонии муравьев» (Ant Colony Optimization - ACO).

Начало применению генетических алгоритмов для решения задач оптимизации положил Д.Холланд в 1975 г. Фундаментальный вклад в развитие GA внес Д.Гольдберг. В дальнейшем генетические алгоритмы успешно применялись для различных задач синтеза конструкций, составления расписаний, маршрутизации транспортных средств, компоновки оборудования, раскроя материалов и др.

Алгоритм поведения толпы первоначально был описан применительно к задачам математической биологии в 1987 г.

13

Впервые идея использования для решения оптимизационных задач аналогии с поведением колонии муравьев высказана в 1992 г. Применение методов ACO показано на примерах задачи коммивояжера, раскроя и упаковки и др.

Для применения эволюционных методов к решению конкретной задачи нужно, вопервых, сформулировать множество управляемых параметров X, во-вторых, разработать модель приложения в виде алгоритма вычисления целевой функции F(X), в-третьих, разработать алгоритмическую реализацию эволюционного метода. При этом, учитывая приближенность и статистическую природу этих методов, нужно стремиться к получению высокоэффективных алгоритмов с позиции как точности, так и трудоемкости вычислений.

Общая структурная схема эволюционных методов:

1.Формирование исходного поколения

2.Пока не выполнится условие останова делать следующее

2.1.Определение перспективности членов популяции

2.2.for k от 1 до n

2.2.1.Формирование новой хромосомы

2.2.2.Оценка целевой функции

2.2.3.Селекция

2.3.Смена поколения

Вычисления начинаются с формирования множества G информационных объектов Xj=(xj1, xj2,…,xjn), j=1,2,…,N, которые в соответствии с принятой в ГА терминологией, называются хромосомами. Хромосома состоит из генов xj1, значения генов называют аллелями, а позиции генов в хромосоме – локусами. Обычно в задачах оптимизации гены отождествляют с управляемыми параметрами. Множество G называют популяцией, а состав популяции в конкретный момент вычислений – поколением.

Эволюция представляет собой многошаговый процесс. На каждом шаге формируются новые хромосомы и N хромосом отбирается (селекционируется) в новое поколение. Формирование хромосом нового поколения происходит с использованием генного материала текущего поколения и с учетом качества этого материала. Качество j-й хромосомы оценивается значением целевой функции F(Xj), а качество каждого поколения – наилучшим (минимальным) значением целевой функции, полученным на данный момент вычислений.

20. Решение задач оптимизации методами моделирования эволюции.

Эволюционное моделирование использует признаки теории Дарвина для построения интеллектуальных систем. Является частью более обширной области искусственного интеллекта – вычислительного интеллекта.

Эволюционное моделирование это уже достаточно сложившаяся область, в которой можно выделить:

1. Моделирование возникновения молекулярно – генетических информационных

систем

2.Моделирование общих закономерностей эволюции

3.Эволюционные модели

4.Прикладное эволюционное моделирование.

Алгоритм решения задач оптимизации методами моделирования эволюции:

1.Формирование исходного поколения

2.Пока не выполнится условие останова делать следующее

2.1.Определение перспективности членов популяции

2.2.for k от 1 до n

2.2.1. Формирование новой хромосомы

14

2.2.2.Оценка целевой функции

2.2.3.Селекция

2.3.Смена поколения

+дополнительно смотреть из вопросов 19, 21

21.Генетические алгоритмы. Генетические операторы.

Взадачах структурного синтеза любая структура представляется значениями

структурных параметров xi множества X. В генетических методах множеству X соответствует запись, называемая хромосомой, элементы хромосомы соответствуют параметрам xi, их называют генами, а значения генов – аллелями. Каждый ген размещается в хромосоме в некоторой позиции – локусе. В случае геометрической интерпретации каждому гену соответствует одна из осей координатного пространства, а хромосоме некоторая точка поискового пространства.

Очевидно, что в большинстве практически значимых задач структурного синтеза число возможных альтернатив столь велико, что явное представление множества альтернатив невозможно. Поэтому в каждый момент поиска генетический алгоритм (ГА) оперирует подмножеством альтернатив мощности N, представляющим некоторые N точек пространства структурных параметров. Это подмножество называют популяцией, а N - размером популяции. Хромосома, представленная конкретными значениями своих генов, есть проектная альтернатива или экземпляр хромосомы.

Основная идея ГА заключается в эволюции популяции, повторяющей некоторые черты эволюции организмов в живой природе. Если цель эволюции в живой природе - обеспечение наибольшей жизнеспособности популяции в условиях окружающей среды, то цель эволюции в ГА - получение экземпляров с наилучшими значениями определенных критериев, характеризующих качество экземпляра, т.е. синтезируемой структуры. Как и в других методах синтеза, в ГМ при наличии нескольких критериев задача должна быть сведена к однокритериальной путем свертки векторного критерия. Получающуюся целевую функцию часто называют функцией полезности. Любой конкретный экземпляр хромосомы называют генотипом, а множество значений характеризующих хромосому критериев - фенотипом.

Таким образом, цель генетического поиска - найти экземпляр хромосомы, имеющий значение функции полезности, максимально близкое к ее экстремальному значению. Направленный поиск малой окрестности экстремума осуществляется в ГА с помощью генетических операторов выбора родителей, кроссовера, мутации, селекции, переупорядочения, поясняемых ниже.

Генетические алгоритмы имитируют эволюционный процесс приближения к оптимальному результату, начиная с некоторого исходного поколения структур, представленных экземплярами хромосом. Этот процесс в базовом ГА является вложенным циклическим вычислительным процессом. Внешний цикл имитирует смену поколений. Во внутреннем цикле формируются члены очередного поколения.

Члены исходного поколения генерируются случайным образом. При этом для каждого гена задана область определения, например, в виде интервала [Xmini, Xmaxi], и значения генов выбираются с равной вероятностью в его пределах.

Результатом каждого очередного витка внешнего цикла является новое поколение, о качестве которого судят по экземпляру хромосомы с лучшим значением функции полезности

F.

Характер приближения к экстремуму обычно таков, что на начальных витках скорость улучшения целевой функции довольно значительная, но по мере приближения к экстремуму она замедляется и может наступить прекращение улучшения F на некотором удалении от экстремальной точки. Это явление называют стагнацией. Обычно оно происходит из-за вырождения популяции - потери разнообразия генного материала. Поиск прекращают чаще всего при появлении признаков стагнации, о чем свидетельствует неулучшение целевой

15

функции на протяжении нескольких последних поколений, либо по исчерпании лимита отведенного времени на решение задачи.

Во внутреннем цикле базового ГА выполняется следующая последовательность генетических операторов: выбор родителей, кроссовер (скрещивание), мутации, формирование нового поколения.

Порождение новых экземпляров хромосом происходит в процессе скрещивания (кроссовера) родительских пар. Выбор пары членов популяции в качестве родителей производится случайным образом среди членов данного поколения. При этом вероятность выбора экземпляров в качестве родителей в базовом генетическом алгоритме зависит от их значений функции полезности, т.е. чем лучше значение F, тем выше должна быть вероятность выбора.

Оператор кроссинговера Заключается в разрыве двух выбранных родительских хромосом и рекомбинировании

образовавшихся хромосомных отрезков, что дает пару хромосом потомков.

На рисунке представлен пример кроссинговера (разрыв после третьего локуса) и рекомбинация отрезков.

Оператор мутации Мутации, т.е. случайные изменения некоторых аллелей, предназначены для

реализации поиска в пространстве всех возможных экземпляров хромосом. Без мутаций поиск не может выйти за пределы того подмножества экземпляров хромосом, в котором аллели совпадают с сгенерированными значениями генов в начальной популяции. Например, если в некотором гене, отображающем дни недели, в хромосомах начальной популяции оказались сгенерированными только значения "понедельник", "среда", "четверг" и "воскресенье", то при выполнении операторов кроссовера или селекции значения "вторник", "пятница" и "суббота" появиться не могут. Мутации устраняют этот недостаток. Они происходят в очередном гене с некоторой заданной вероятностью Рм, эта вероятность обычно выбирается достаточно малой (сотые-тысячные доли). При мутациях значение гена выбирается случайным образом среди множества возможных значений, т.е. в нашем примере произойдет равновероятный выбор среди всех семи возможных дней недели.

22.Постановка задачи ЛП. Формы записи ЗЛП. Геометрическая интерпретация ЗЛП, основная теорема линейного программирования.

Задача линейного программирования заключается в изучении способов отыскания наибольшего или наименьшего значения линейной функции при наличии линейных ограничений.

Совокупность значений переменных, при которых достигается наибольшее или наименьшее значение функции, определяет оптимальное решение. Всякая же другая совокупность значений переменных, удовлетворяющая ограничениям, определяет допустимое решение задачи.

Формы записи ЗЛП В общем случае задача линейного программирования (ЗЛП) формулируется

следующим образом: найти величины х1,…, хn, доставляющие минимум (максимум) функции

16

F(X) = c1x1 + c2x2 +…+ cnxn и удовлетворяющие ограничениям, которые могут быть только равенствами и неравенствами вида

Среди ограничений часто встречаются условия не отрицательности всех или части переменных .

Хотя эти условия являются частным случаем представленных выше условий общего вида, на практике их обычно выделяют в особую группу.

В более компактной записи общая задача линейного программирования имеет вид:

Различаются еще две основные формы записи задач линейного программирования в зависимости от наличия ограничений разного типа:

а) стандартная форма ЗЛП

при ограничениях

б) каноническая форма ЗЛП

При ограничениях

Переход от задачи минимизации к задаче максимизации. Осуществляется путем изменения знака критериальной функции, т.е. задача поиска минимума

17

эквивалентна задаче поиска максимума

Геометрическая интерпретация ЗЛП Совокупность ограничений-неравенств в задаче ЛП определяет некоторую

многоугольную область G. Область G называется областью решений системы ограниченийнеравенств. Область G является выпуклой областью.

Основная теорема линейного программирования

1)Линейная форма z=c-T*x достигает своего минимума в угловой точке многогранника решений.

2)Если она принимает минимальное решение более чем в одной угловой точке, то она достигает того же самого значения в любой точке, являющейся выпуклой комбинацией этих угловых точек.

23.Симплекс-метод. Построение допустимого (опорного) плана. В каких случаях допустимый план не существует?

Название метода связано с тем, что первой задачей, на которой он разрабатывался, был

симплекс - многогранник, заданный условиями

.

Основная идея симплекс - метода:

Рассмотрим основные идеи симплекс-метода. Пусть в Rn заданы n+m переменных хj, из которых первые n являются независимыми (базисными), а остальные m –зависимыми

18

.

Необходимо найти max

Алгоритм симплекс-метода включает в себя 3 этапа:

1.Приведение задачи к каноническому виду

2.Поиск опорного решения.

3.Поиск оптимального решения.

Рассмотрим более подробно построение допустимого (опорного) плана Построение опорного плана

Пусть имеется матрица канонической задачи ЛП (каноническая матрица). Прежде всего попытаемся упростить ее за счет исключения ―слабых ограничений.

Предположим, что в s-й строке все коэффициенты, включая свободный член,

неотрицательны, т.е. xn+s=|as1|x1+|as2|x2+...+|asn|xn+|bs|. Тогда при любых неотрицательных значениях xi i=1,2,...,n, xn+s>= 0. Поэтому ограничение xn+s >=0 является несущественным, и

s-я строка может быть вычеркнута из матрицы.

Выявив и исключив из канонической матрицы слабые ограничения, рассмотрим столбец свободных членов. Если все его элементы неотрицательны, то начало координат удовлетворяет всем ограничениям xi >= 0 , i=1,2,...n+m, поэтому является опорным решением задачи ЛП.

Если в столбце свободных членов есть отрицательные элементы, то необходимо от них избавиться, сделав шаги Жорданова исключения.

Выбираем разрешающий элемент: по столбцу – наибольший по модулю отрицательный элемент, в строке – тоже самое.

Шаг модифицированного жорданова исключения над симплексной таблицей:

1.На месте разрешающего элемента ставится 1 и делится на разрешающий элемент.

2.Остальные элементы разрешающего столбца меняют знак на противоположный и делятся на разрешающий элемент.

3.Остальные элементы разрешающей строки делятся на разрешающий элемент.

4.Все остальные элементы симплексной таблицы вычисляются по следующей формуле. Формула прямоугольника.

Если как минимум одна из вспомогательных переменных осталась в базисе, то допустимых решений данной ЗЛП не существует.

19

24.Симплекс-метод. Построение оптимального плана. Что является признаком оптимальности? Когда ЗЛП имеет множество оптимальных планов, является неограниченной?

Основную идею симплекс-метода смотреть в предыдущем вопросе.

Построение оптимального плана

20