jadan (1)

2.если f(x1) ≥ f(x2), то x [x1, b].

Доказательство. Докажем только первое утверждение.От противного,предположим,что f(x1) ≤ f(x2), но x > x2. Тогда x1 < x2 < x и в силу унимодальности функции f(x) должно выполняться неравенство: f(x1) > f(x2).Мы пришли к противоречию.

Для решения задач(4)с непрерывными унимодальными функциями достаточно эффективными являются методы последовательной локализации решения. В самом общем виде алгоритмы,принадлежащие к этому классу методов можно описать следующим образом.Строится последовательность вложенных друг в друга отрезков локализации решения x задачи(4)

Делается это таким образом,что каждый из отрезков [ak, bk] содержит точку x , причем в качестве начального отрезка [a0, b0],как правило,берется сам исходный отрезок [a, b].Длины ∆k = bk − ak отрезков [ak, bk] образуют монотонно уменьшающуюся последовательности чисел

∆0 > ∆1 > ∆2 > á á á > ∆k > á á á ,

стремящихся к нулю.

Если построен отрезок [ak, bk], то в качестве приближенного решения задачи(4) берется произвольная точка xk из отрезка [ak, bk].Обычно в качестве такой точки целесообразно брать середину отрезка точку

2

Тогда для оценки точности такого приближенного решения(4)получаем

|xk − x | ≤ ∆2k .

В общем случае,при выборе произвольной точки xk из отрезка [ak, bk], имеем только

|xk − x | ≤ ∆k.

Для прерывания процесса построения отрезков(5)задаются точностью решения задачи (4) параметром ε.Под точностью в таких методах понимают оценку расстояния между точным решением x задачи(4)и найденным приближенным решением xk, т . е . величину|xk − x |.Процесс прерывают,когда выполняется неравенство |xk − x | ≤ ε.Если в качестве точки xk согласно(8)берется середина отрезка [ak, bk], то для этого достаточно совершить N итераций,где N наименьшее из целых неотрицательных чисел,для которого выполняется условие ∆N ≤ 2ε.

Разные алгоритмы,принадлежащие к этому классу методов последовательной локализации решения,отличаются между собой конкретными способами построения

6

отрезков [ak, bk] или,говоря более точно,конкретными способами перехода от отрезка [ak, bk] к следующему отрезку [ak+1, bk+1].При этом все эти методы существенным образом используют то обстоятельство,что минимизируемая функция f (x) является унимодальной функцией на [a, b].

Метод дихотомии(метод деления отрезка пополам) является одним из наиболее простых и интуитивно понятных методов решения задачи(4).Идея метода заключается в поиске на каждом шаге такого отрезка [ak+1, bk+1] внутри отрезка [ak, bk],который имел бы вдвое меньшую длину по сравнению с длиной отрезка

[ak, bk].

Начальная итерация.Полагаем a0 = a, b0 = b, c0 = (a0 + b0)/2 и вычисляем f (c0).Полагаем k = 0.

Общая k-я итерация.

Шаг 1. Берем точку yk = (ak + ck)/2 и вычисляем f (yk). Возможны два случая :

а). Если f (yk) ≤ f (ck), то полагаем

ak+1 = ak, bk+1 = ck, ck+1 = yk

В качестве очередного приближения к решению задачи точке x берут любую точку из отрезка [ak+1, bk+1], в частности , точкуck+1, определяемую согласно (7).

7

На каждой общей итерации работы алгоритма вычисляются самое большее два значения целевой функции f(x).На начальной итерации требуется вычислить только одно значение.Можно оценить ту точность,с которой будет определено решение задачи,в случае,когда допускается лишь ограниченное число вычислений значений функций f(x).Это особенно актуально,если вычисление значения функции f(x) весьма трудоемко,например,требует решения задач Коши или краевых задач для систем дифференциальных уравнений.

Пусть позволяется сделать самое большое N вычислений значений функции f(x), причем для простоты считаем,что N нечетное число . Тогда методом дихотомии

Как видим,погрешность уменьшает не медленнее,чем со скоростью геометрической прогрессии со знаменателем q ≈ 0.707.

Применяя формулу(8),можно оценить также количество итераций K, которое необходимо проделать методом,чтобы добиться заданной точности ε.Имеем

где символом a обозначено наименьшее целое,аппроксимирующее число a сверху. Существуют также другие варианты метода дихотомии,например,разбивают текущий отрезок [ak, bk] на два равных отрезка и в качестве следующего отрезка

[ak+1, bk+1] берут тот отрезок,который содержит решение задачи точку x .

Метод золотого сечения. Золотым сечением называется такое деление отрезка на две неравные части,что отношение длины всего отрезка к большей части равно отношению большей части к меньшей.Эта замечательная пропорция встречается в природе и широко используется в человеческой деятельности.

Пусть имеется отрезок [a, b].Предположим,что точка,которая делит отрезок в пропорции золотого сечения ( обозначим ееy),находится ближе к левому концу отрезка точке a.Тогда для нее выполняется соотношение

Если,напротив,эта точка находится ближе к правому концу отрезка,то для этой

8

точки(обозначим ее z) вместо (10) имеет место соотношение

5 − 1 (b − a) a + 0.618 (b − a) . 2

Точка y(a, b) носит название меньшей золотой точки отрезка [a, b], точка z(a, b)

большей золотой точки отрезка [a, b].Если ввести величину

√

то для меньшей и большей золотой точки оказываются справедливыми следующие

Меньшая и большая золотые точки обладают определенными свойствам,перечисленным в приведенном ниже утверждении,которое легко проверяется.

Утверждение2. Пусть y и z меньшая и большая золотые точки отрезка

2.y большая золотая точка отрезка [a, z], а z меньшая золотая точка отрезка [y, b].

Опишем теперь сам алгоритм метода золотого сечения.

Начальная итерация.Полагаем a1 = a, b1 = b, y1 = y(a, b), z1 = z(a, b) и

вычисляем f (y1).Полагаем k = 1.

Общая k-я итерация.

Вычисляем то из значений f (yk) или f (zk),которое еще не вычислено.Если f (yk) ≤ f (zk), то полагаем

9

После этого увеличиваем номер итерации на единицу k := k + 1 и переходим на начало итерации.

Согласно утверждению2на каждой k-й итерации

yk+1 = y(ak+1, bk+1), zk+1 = z(ak+1, bk+1),

а согласно утверждению 1

x [ak+1, bk+1] .

Поэтому в качестве приближения xk+1 к решению задачи можно брать любую точку из отрезка [ak+1, bk+1]. Отметим также , что в методе золотого сечения на каждой итерации требуется вычислять значение целевой функции f(x) лишь в одной точке.

Если позволяется вычислить значение функции f(x) лишь в N точках,то можно сделать K = N − 1 шагов методом золотого сечения и получить следующую оценку для близости точки xN к x :

|xN − x | ≤ bN − aN = 1 N−1 (b − a) ≈ 0.618N−1 (b − a) .

τ

Данная оценка лучше,чем получаемая в методе дихотомии.Для получения точности ε, как видно из (12), следует провести количество итераций

ln b−a

K ≥ ln τε + 1,

где символом a обозначена целая часть числа a.

Метод Фибоначчи.Данный метод близок к методу золотого сечения,но в нем вместо пропорции золотого сечения используется последовательность чисел Фибоначчи,определяемая рекуррентным соотношением:

При этом первые два числа полагаются равными: F0 = F1 = 1. Тогда для последую - щих чисел Фибоначчи согласно(13)получаем

F2 = 2, F3 = 3, F4 = 5, F5 = 8, . . . .

Имеется также формула,выражающая числа Фибоначчи в явном виде посредством величины τ ,используемой в золотом сечении.Данная точная формула получается,если решение рекуррентного уравнения(13)искать среди геометрических

10

справедливая при i → ∞.

Опишем первые две итерации метода Фибоначчи для минимизации унимодальных функций.Для простоты будем считать,что отрезок [a, b] совпадает с единичным отрезком [0, 1].Это никоим образом не ограничивает общности рассуждений,так как всегда от произвольного отрезка [a, b] можно перейти к единичному отрезку [0, 1], сделав замену переменных x = a + y(b − a), где y [0, 1].

Предположим,что задано целое число N ,связанное с тем количеством вычислений значений целевой функции f (x),которое хотим провести.На начальной итерации

которые расположены симметрично относительно середины отрезка [a1, b1] (единичного отрезка).Вычисляем значения целевой функции f (y1) и f (z1). Возможны два случая:

11

Точки y2 и z2 снова расположены симметрично относительно середины отрезка [a2, b2]. Далее переходим ко второй итерации,которая делается полностью аналогично первой.После выполнения второй итерации получаем отрезок локализации решения

[a3, b3] с длиной

∆3 = FN−2 ∆1 < ∆2.

FN

Последующие итерации также проводятся подобным образом.На k-м шаге мы получаем отрезок локализации с длиной

∆k+1 = FN−k ∆1,

FN

Соответственно,на последней (N − 1)-й итерации имеем

∆N = F1 ∆1 = 1

FN FN

или,если вернуться к старым переменным,

1

∆N = FN (b − a).

Процесс на этом заканчивается.Меньшая и большая точки yN и zN при этом"схлопываются"в одну точку,совпадающую с серединой отрезка [aN−1, bN−1].Эту точку и целесообразно брать в качестве приближенного решения задачи (4), т . е . точкиxN . Для расстояния от точки xN до точного решения x справедлива оценка

Однако решение x может оказаться как слева от точки xN , так и справа от нее .

12

Поэтому отрезок локализации решения имеет удвоенную длину,т.е.

2

x [aN−1, bN−1], bN−1 − aN−1 = FN (b − a).

Чтобы определить в какой из половин отрезка [aN−1, bN−1] находится точка x и тем самым уменьшить длину отрезка локализации решения,следует провести дополнительное вычисление значения функции в какой либо близлежащей к xN точке(справа или слева).

Неравенство(17)позволяет определить то число требуемых вычислений значений функций f(x) и,стало быть,число итераций методом Фибоначчи,которое позволяло бы добиться заданной точности ε > 0.Используя(17)и приближенную формулу(15) для числа FN , приходим к следующей оценке на число N:

Оценка(17)близости точки xN к решению задачи после N − 1 итераций в методе Фибоначчи примерно на 7% меньше соответствующей длины в методе золотого сечения.Но в методе золотого сечения можно в любой момент прервать вычисления и дальше их продолжить из найденных точек,если полученная точность нас по какой-то причине не устраивает.В методе Фибоначчи этого делать нельзя.Требуется заново задавать число N и заново проводить вычисления,правда,это можно делать, беря за основу найденный уже отрезок локализации решения.

1.3.Методы решения задач безусловной минимизации

В данном разделе нас будут интересовать методы решения задач безусловной минимизации

где относительно f(x) предполагается,что она является непрерывной достаточно гладкой функцией.Мы будем рассматривать в основном методы поиска локального минимума функции,которые,разумеется,если функция оказывается выпуклой, позволяют найти и глобальный минимум.

Среди методов решения задачи(16)одними из основных являются методы спуска. В них строится последовательность точек {xk} такая,что f(xk+1) < f(xk).При этом начальная точка x0 задается,а для построения последующего приближения на k-й итерации берется направление убывания функции f(x) в точке xk и тем или иным способом подбирается некоторый шаг,двигаясь с которым вдоль направления убывания,мы получили бы точку xk+1 с меньшим значением целевой функции . Раз - ные методы отличаются друг от друга способом выбора направления убывания и

13

способом выбора шага.Эти процедуры дополняются правилами остановки процесса, которые зависят от используемой информации и носят главным образом эвристический характер.

Дадим теперь более строгое описание методов спуска для решения задачи безусловной минимизации(18).Напомним,что согласно определению16ненулевой вектор s Rn называется направлением убывания функции f(x) в точке x Rn, если f(x + αs) < f(x) для всех достаточно малых α > 0.Множество всех направлений убывания функции f(x) в точке x образуют конус.Обозначим его Kd(x).Имеет место следующий почти очевидный результат.

Утверждение3. Пусть функция f(x) дифференцируема в точке x Rn. Тогда :

1.для любого s Kd(x) выполнено fx(x), s ≤ 0;

2.если s удовлетворяет условию fx(x), s < 0, то s Kd(x).

Доказательство. Докажем сначала второе утверждение.Имеем в силу диффе-

пусть fx(x), s > 0. Тогда с помощью только что приведенного разложения убежда - емся,что s является направлением возрастания функции f(x) в точке x.Следовательно, s / Kd(x).Мы пришли к противоречию.Поэтому выполняется неравенство

fx(x), s ≤ 0.

Мы будем рассматривать итерационные методы спуска,описываемые следующим

всех xk, то получаем последовательность {f(xk)},которая является монотонно убывающей.Если же Kd(xk) = на некоторой итерации,то процесс(19)прерывается. Конкретные методы характеризуются различными способами выбора направления sk и шага αk.

1.3.1.Правила выбора длины шага

Задача выбора шага спуска αk является задачей одномерной минимизации на луче. Она играет важную роль в методах спуска и от эффективности ее решения в сильной

14

степени зависит эффективность всего метода,особенно в случае,когда вычисление значений функции f(x) трудоемко.Довольно часто она решается приближенно.Рассмотрим несколько наиболее известных правил,применяемых при выборе шага αk.

Правило одномерной минимизации.Согласно этому правилу в качестве αk берется решение задачи

Обозначим через φ(α) функцию φ(α) = f(xk + αsk), зависящую от одной пере - менной.Тогда задачу(20)можно переписать как

min φ(α).

α≥0

Если αk > 0 и функция f(x) дифференцируема в точке xk+1 = xk + αksk,то выполняется условие:

Таким образом,если fx(xk+1) = 0n, то геометрически решение задачи (20) означает , что xk+1 является точкой касания луча,задаваемым направлением sk, с поверхно - стью уровня функции f(x), проходящей через точку xk+1.

В некотором смысле выбор шага αk согласно правилу одномерной минимизации наилучший,так как при этом способе получаем наибольшее убывание значения целевой функции вдоль используемого направления sk.В некоторых случаях,когда целевая функция f(x) имеет простой вид,задачу(20)можно решить аналитически. Например,если f(x) сильно выпуклая квадратичная функция,т.е.

следовательно, Axk + b, sk < 0.

В общем случае точное решение задачи (20) может оказаться весьма сложной проблемой и поэтому ее решают приближенно.В частности,заменяют задачу поиска шага αk на луче на задачу поиска этого шага на отрезке:

min φ(α), ∆= [0 , αø],

α ∆

где αø фиксированная положительная величина.Если φ(α) оказывается унимодальной функцией на отрезке ∆, то можно использовать процедуры одномерного поиска , рассмотренные в предыдущем параграфе.

15