Линейный поиск
Это требование обеспечивает некую усредненную скорость спуска на очередной итерации не меньше определенной доли от величины, достигнутой на
предыдущей итерации.
Чтобы шаг метода не был слишком маленьким,
накладывается еще одно условие |
|
(но так, чтобы |
|
|
|
|
|||||||
|
|
|
|
|
|||||||||
|
f (x(k) |
|
d (k) T d |
(k) |
|
f (x(k) )T d (k) , |
|
|
|
|
|
||
удовлетворялось и предыдущее): |
|
|
|
|
|
|
|
|
|
||||
( ,1) |
|
k |
|
|
|
|
5 |
,10 |
1 |
|
1 |
,1 / 2 |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
10 |
|
, |
10 |
|
|||
(**) |
|
|
|
|
|
|
|
|
|
|
|
|
|
. На практике обычно выбирают |
|
|
|
|
|
||||||||
при |
|
|
|
|
|
||||||||
|
f (x(k) k d (k) )T d(k) f (x(k) )T d(k) |
, |
|
|
|
|
|
||||||
Иногда последнее неравенство заменяют более слабым: |
|
|
|||||||||||
(***) |
f (x(k) )T d (k) 0, |
|
|
|
d (k ) |
|
|
|
|
|
|
||
|
|
|
|
|
|
поскольку |
|
- |
|
|
|||
(вспомним, что |
|
|
|
|
|
|
|
|
|||||
направление спуска). |
|
|
|
|
|
|
|
|
|
|
|||
11
Линейный поиск
|
|
|
|
|
f (x) M |
x Rn |
|
|
Свойство. Предположим, что |
для всех |
|
||||||
. Тогда существует |
интервал |
|
|
|
||||
I |
c,C , |
0 c C |
|
|
(***) |
|||
такой, что в методе спуска условия (*) иk(**) или (*) и |
||||||||
|
|
|
|
|
|
I |
0,1 / 2 |
|
удовлетворяются для любых |
при |
|
|
|||||
,1 |
|
|
|
|
|
|
|
|
и |
. |
k |
|
|
можно обеспечить многими |
|
||
Выбор параметров |
|
|
|
|||||
способами, наиболее современной стратегией является |
||||||||
|
|
|
|
|
|
|
0,1 / 2 |
|
|
|
|
|
1 |
|
|
(0,1) |
|
перебор с возвратом |
|
|
|
|
||||
|
|
|
k |
|
|
|
|
|
(backtracking technique): при фиксированном значении |
||||||||
начиная со значения |
уменьшаем его умножением |
|||||||
на |
|
|
|
|
x |
x(k ) |
|
|
до тех пор, пока не выполнится условиеf (*). |
|
J |
||||||
Эта процедураd |
приводится ниже. В качестве входных |
|||||||
|
|
|
|
|
|
|
|
|
параметров используются текущее значение вектора , |
||||||||
содержащее |
|
|
|
x(k 1) |
|
|
|
|
, имена подпрограмм, вычисляющих |
||||||||
значение функции k |
и ее якобиана |
, |
|
|
||||
12вектор |
, содержащий текущее направление поиска, а |
|||||||
также значения
Линейный поиск
13
Линейный поиск с возвратом
http://www.hbmeyer.de/backtrack/backtren.htm
Поиск с возвратом (англ. Backtracking) — общий метод нахождения решений задачи, в которой требуется полный перебор всех возможных вариантов в некотором
множестве М. Как правило позволяет решать задачи, в которых ставятся вопросы типа: «Перечислите все возможные варианты …», «Сколько существует способов …», «Есть ли способ …», «Существует ли объект…» и т. п.
Термин backtrack был введен в 1950 году американским математиком Дерриком Генри Лемером.
Незначительные модификации метода поиска с возвратом, связанные с представлением данных или особенностями реализации, имеют и иные названия: метод ветвей и границ, поиск в глубину, метод проб и ошибок и т. д. Поиск с возвратом практически одновременно и независимо был изобретен многими
14 исследователями еще до его формального описания.
Функция Розенброка
15
Функция Химмельблау
16