Ответы_на_вопросы_по_материалам_курса_МО

Оглавление

Направленный случайный поиск: поиск с возвратом при неудачном шаге, поиск с наказанием

Самообучение в методах случайного поиска. Поиск с обучением по одной попытке (жесткое и

Метод случайного поиска экстремума функции по статистическому градиенту, блуждающие

В чем состоит задача оптимизации?

Задача оптимизации состоит в поиске экстремума (минимума или максимума) функции в некоторой области конечномерного векторного пространства параметров.

Оптимизация предполагает процесс движения к некоторой поставленной цели. Методы оптимизации направлены не только и не столько на определение оптимума некоторых

3

частных функций, сколько на выработку стратегии поиска, которая приводит к цели оптимальным способом.

Как формально записывается задача оптимизации?

Записывается в виде самой функции и ограничений для данной функции. Ограничение – соотношение, задающее область существования целевой функции. Ограничения могут быть параметрическими и функциональными Параметрическое ограничение – область изменения значений конкретных параметров:

≥ 0 − одностороннее параметрическое ограничение≤ ≤ − двусторонее параметрическое ограничеие

Функциональные ограничения представляют собой равенства или неравенства:

− = 0 − функциональное оганичение − равенство− ≥ 0 − функциональное ограничение − неравенство

Критерии оптимизации. Классификация методов оптимизации и задач оптимизации в технике.

Функция F(X), экстремальное значение которой нужно найти, называют целевой, показателем эффективности или критерием оптимальности. Она представляет собой функцию обобщенного показателя качества. Глобальный экстремум данной функции F*(X*) обычно соответствует оптимальному решению.

Классификация задач оптимизации в технике:

1.Задача синтеза оптимальных структур

2.Задача оптимизации параметров

3.Задача синтеза оптимальных политик управления системами или объектами

4.Задача параметрической идентификации параметров моделей

5.Задача автоматизированной доводки

Классификация методов оптимизации:

1.Метод “Проб и ошибок”

2.Аналитические методы оптимизации

3.Численные методы оптимизации (одномерной и многомерной)

4.Неклассифицируемые методы оптимизации

Вчем состоит отличие P-задач от NP-задач? Какие задачи относятся к классу P-задач? Какие задачи относятся к классу NP-задач?

Задачи, для которых известны полиномиальные алгоритмы решения, рассматриваются как поддающиеся решению (P-задачи).

Для большинства практических задач неизвестно, существует ли полиномиальный алгоритм их решения, и не доказано, что они поддаются решению (NP-задачи).

Полиномиальные алгоритмы имеют сложность O(nk), где k–положительное целое число, определенное тогда и только тогда, когда существует константа c>0 такая, что ≤ .

4

Как составляется функция Лагранжа? Сформулируйте порядок решения задачи выпуклого программирования методом множителей Лагранжа.

Выпуклое программирование – это значит, что целевая функция – выпуклая, и ограничения представляют собой выпуклые области.

Формулировка задачи: требуется найти экстремум (максимум) функции f(x), где X=(x1, x2,…,xn) при наличии ограничений в виде равенств gj(x)=bj, j=1,..,m. Функция f(x) и систему из mуравнений gj(x) заданы в пространстве Rnи принадлежат множеству непрерывных функций, частные производные которых также являются непрерывными функциями.

Идея метода неопределенных множителей Лагранжа заключается в переходе от задачи на условный экстремум к задаче отыскания безусловного экстремума некоторой построенной

множители Лагранжа.

Порядок решения очевиден!

Одномерный поиск. Постановка задачи. Критерии оптимальности.

Задача одномерного поиска формулируется следующим образом: требуется найти максимум (минимум) функции одной переменной f(x), заданной на единичном отрезке.

x*=argmin (max) f(x), xпринадлежит X. X–множество допустимых точек, среди которых ищется x*. X=[a, b] – отрезок неопределенности. А относительно f(x), предполагают, что она унимодальна.

Функция f(x) называется унимодальной на X=[a, b], если существует такая точка x* из множества X, что

f(x1)>f(x2), если x1<x2<x*, x1, x2принадлежит X, f(x1)<f(x2), если x1>x2>x*, x1, x2принадлежит X

Если при любых x1, x2,принадлежащих множеству X, неравенство будет строгим, то функция f(x) называется строго выпуклой.

Функция f(x) называется выпуклой на X=[a, b], если f(ax1+(1-a)x2)≤af(x1)+(1-a)f(x2), 0≤a≤1.

Ненаправленный одномерный поиск. Алгоритм пассивного поиска, алгоритм поиска однородными парами.

Различают ненаправленный и направленный случайный поиск.

Ненаправленный случайный поиск. При таком поиске все последующие испытания проводят совершенно независимо от результатов предыдущих. Сходимость такого поиска очень мала, но имеется важное преимущество, связанное с возможностью решения многоэкстремальных задач (поиск глобального экстремума).

Алгоритм пассивного поиска

Отрезок [a, b] - исходный отрезок неопределенности. Пусть N – число точек, в которых необходимо провести вычисления целевой функции f(x), т.е. Nэкспериментов. Значения в точках вычисляются следующим образом:

5

Если = 2 − 1 − нечетное число, то

−= + + 1

= 1,2,3, … ,

Если = 2 − четное число, то

−2 = + + 1

2−1 = 2 −= 1,2,3, … ,

Среди вычисленных значений f(x) ищется точкаxj, в которой достигается минимум (максимум) функции. Найденная точка принимается за принимается за приближенное решение задачи. Исходный отрезок неопределенности [a, b] после экспериментах в N точках сужается до [xj-1, xj+1] длина которого равна:

Алгоритм поиска однородными парами Из рассмотренного ранее можно сделать вывод, что существенное сокращение

интервала неопределенности может дать лишь пара измерений. И если пара измерений сократила его почти в два раза, то kпар измерений может сократить этот интервал в (k+1) раз. Алгоритм данного вида поиска:

1.Задается N, находится k=N/2.

2.Точка очередного измерения находится как 2 = + −+1 , 2−1 = 2 − , где i=1,

2,…,k.

3.Среди полученных точек ищется минимум (максимум)

Последовательный одномерный поиск. Поиск экстремума функции методами равномерного блочного поиска, деления интервала пополам, дихотомии, Фибоначчи, золотого сечения, касательных, парабол.

В случаях, когда очередная точка выбирается последовательно, с учетом того, какое значение целевой функции получено на предыдущих шагах, одномерный поиск называется последовательным.

Равномерный блочный поиск Схема алгоритма

1.Задаются исходный отрезок неопределенности [a, b], –точность приближенного решения , число экспериментов в блоке n = 2k–если n четное (n=2k-1 –если nнечетное).

Проводится эксперимент в середине отрезка [a, b], т.е. вычисляем yk=f(xk), где xk=(a+b)/2.

2.Проводим эксперименты в остальных точках блока: yi=f(xi), где xi=a+i*(b-a)/(n+1), где i=1, 2, …, n, i != k. Находим точку xj, в которой достигается минимум среди вычисленных значений: f(xj)=minf(xi), следовательно, точное значение минимума x* содержится на отрезке [xj- 1, xj+ 1].

3.Если b-a≤2 , то поиск заканчивается, иначе переходим к шагу 2.

Метод деления интервала пополам

6

Это алгоритм равномерного блочного поиска при n=3 Схема алгоритма:

1.Задаются a, b, . Производится эксперимент в точке x2=(a+b)/2, т.е. вычисляется y2=f(x2).

2.Производятся эксперименты в остальных точках блока:

x1=(a+x2)/2, y1=f(x1) иx3=(x2+b)/2, y3=f(x3). Находим xjтакую, что значение в этой точке будет минимальным.

Тогда точное решение будет содержаться на отрезке [xj - 1, xj + 1].

3.Если b-a≤2 , то поиск заканчивается, иначе переходим к шагу 2.

Метод дихотомии Алгоритм метода состоит из следующих этапов:

1.Исходный интервал L0 = [a, b] исследования делится пополам.

2.Вблизи точек деления (по разные еѐ стороны) дважды вычисляется значение целевой

изменения переменной x, при котором возможно обнаружить отличие междуy(x1) и y(x2).

3.Используя свойство унимодальности функций, определяют интервал, в котором находится экстремальное значение целевой функции, а затем процесс расчета повторяется по аналогичной схеме до тех пор, пока не будет получен интервал Ln, где≤ 2 , содержащий точку оптимума x*.

! Для сокращения единичного интервала неопределенности до размера l0 методом дихотомии потребуется сделать = 22 − − экспериментов.

Метод Фибоначчи Алгоритм метода следующий:

1. По заданной точностиl0 рассчитывается вспомогательное число N = (b–a) / l0

2. Для полученного значения Nнаходится такое число Фибоначчи Fn, чтобы выполнялось неравенство −1 < ≤

3. Определятся минимальный шаг поиска по формуле = −

4.Рассчитывается значение функции f(x) в начале интервала, то есть f(a)

5.Следующая точка, в которой вычисляется значение f(x): x1 = an + mFn-2

6.Если f(x1) >= f(a) (шаг удачный), то следующая точка определяется как x2 = x1 + mFn-3; при f(a)>f(x1) (шаг неудачный) – x2 = x1 – mFn-3

7.Последующие шаги выполняются с уменьшающейся величиной шага, которая для i-го шага будет ∆ = −−2в соответствии со следующим правилом. Если при выполнении шага значение функции в точке +1 = + ∆ оказывается больше, то есть f(xi+1)>f(xi) (шаг удачный), то следующий (i+2)-й шаг выполняется из точки xi+1:+2 = +1 + ∆ +1. Если i-й шаг неудачный, то есть f(xi+1)<f(xi), то следующий (i+2)-й шаг выполняется из точки xj, то есть +1 − ∆ +1.

Метод золотого сечения

Алгоритм метода:

7

( 2)

2.Если 2 ≥ 1, то a = x1, интервал неопределенности становится равным [x1, b]. Иначе, если условие 2 ≥ 1не выполняется, то b = x2, интервал неопределенности становится равным [a, x2]

3.Если a – b>l0, то переходят к шагу 2.

Впротивном случае если y2≥y1, то x* = x2, y* = y2, иначе x* = x1, y*=y1.

Метод касательных Алгоритм метода:

1.Задаются a, b, . Вычисляютсяy1=f(a), y2=f(b), z1=f’(a), z2=f’(b).

2.Если b-a≤2 , то полагается, что x*=(a+b)/2, y*=f(x*) и поиск окончен, иначе необходимо вычислить

Если z=0, то полагается, что x*=c, y*=yи поиск окончен, иначе если z<0, то a=c, y1=y, z1=z, или если z>0, то b=c, y2=y, z2=z, и данный пункт алгоритма повторяется.

Метод парабол

8

Многомерный поиск. Методы релаксации, покоординатного спуска, градиентного поиска (равномерного и пропорционального), наискорейшего спуска (подъема).

В основе градиентных методов поиска экстремума лежит идея последовательного улучшения (ухудшения) некоторого допустимого решения X0 за счет движения по направлению к оптимуму целевой функции f(x).

Метод релаксации

1.Находятся частные производные целевой функции

2.В частные производные подставляются значения в предыдущей точке, смотрим, значение какой из частных производных при этом больше по модулю, еѐ и фиксируем. Подставляем значение незафиксированной переменной в исходную функцию, находим производную этой функции, выражаем новое значение зафиксированной переменной. Получаем новые значения переменных. Подставляем их в исходную функцию, находим еѐ значение. Проверяем условие остановки, если оно выполняется, то прекращаем поиск, иначе повторяем пункт 2.

Метод покоординатного спуска

Пусть k – номер очередной внешней итерации, aj – номер той координаты, по которой производится спуск.

Алгоритм метода:

1.При k = 0 вводятся исходные данные x0, 1,

2.Осуществляется циклический по jпокоординатный спуск из точки xknпо формуле

+ = + −1 − ( + −1)

3.Если || +1 − || ≤ 1, то поиск минимума заканчивается, причем x*=x(k+1)nи y*=f(x*). Иначе k=k+1 и переход к шагу 2.

Градиентный равномерный метод

Градиентный пропорциональный метод Алгоритм метода:

Шаг 1. Задаются x0, , и начальное значение шага . Вычисляется значение градиента f’(x0) –направление поиска. Присваивается k = 0

Шаг 2. Определяется точка очередного эксперимента: +1 = + ∆( )

∆

9

Шаг 3. Проверяется условие +1 < ( ). Если оно выполняется, то переходим к шагу 4, иначе дробим значение ( = /2) и переходим к шагу 4

Шаг 4. Вычисляется значение градиента в точке xk+1: f’(xk+1) Шаг 5. Если

||(′( +1))2|| ≤

=1

то поиск заканчивается, при этом x* = xk+1, y* = f(x*). Иначе полагаем k = k+1 и переходим к шагу 2.

Метод наискорейшего спуска (подъема) Алгоритм метода:

1.Задаются x0, . Вычисляется направление поиска. Присваивается k=0

2.Определяется точка очередного эксперимента

+1 = − ′ , где − минимум одномерной оптимизации

3.Вычисляется значение градиента в точке xk+1

4.Если ′( +1) ≤ , то поиск минимума заканчивается и полагается, что x*=xk+1 и y*=f(x*), иначе k=k+1 и переход к шагу 2.

Методы Ньютона.

Методы Ньютона – это метода второго порядка (использующие вторые частные производные целевой функции f(x)). Все они являются прямым обобщением метода Ньютона отыскания корня уравнения φ(x)=0, где φ(x) – скалярная функция скалярного аргументаx.

Схема алгоритма

1.На первой итерации, при k = 0, вводятся начальное приближение x0 и условие останова. Вычисляются градиент f'(x0) и матрица f''(x0).

2.Определяется направление спуска pk, как решение системы линейных уравнений f''(xk)·pk = – f'(xk) (например, методом исключений Гаусса).

3.Определяется следующая точка спуска: xk+1 = xk + pk.

4.В точке xk+1 вычисляются градиент f'(xk+1) и матрица f''(xk+1)

5.Если ||f'(xk+1)||<= , то поиск заканчивается и полагается x* = xk+1 и y* = f(x*). Иначе k = k + 1 и переход к шагу 2.

Особенностью метода Ньютона является то, что для квадратичной целевой функции он находит минимум за один шаг, независимо от начального приближения x0и степени овражности.

Недостатками метода Ньютона является то, что он, во-первых, предполагает вычисление вторых производных и, во-вторых, может расходиться, если начальное приближение находится слишком далеко от минимума.

Значительные трудности, возникающие при практической реализации метода Ньютона связаны с необходимостью вычислить матрицу f’’(x). Рассмотрим две модификации метода Ньютона, которые используют приближенные аналоги матрицы вторых производных. В результате уменьшается трудоемкость метода, но ухудшается его сходимость.

Первая модификация

1.При k = 0, вводятся x0, . Вычисляются f'(x0) и f''(x0).

2.Определяется обратная матрица (f''(x0))-1

3.Определяется направление спуска pk:pk = – f'(xk)·(f '(x0))–1

10