книги из ГПНТБ / Козин В.З. Методы исследований в обогащении учеб. пособие
.pdfгде ЗСс& |
и 3-сН |
- |
верхнее и га»жнее значение |
I -го |
||
|
|
|
|
Фактора; |
|
|
|
|
ftli |
- |
чиспо |
шагов. |
|
Число |
узлов |
сетки |
равно |
+ |
|
|
(1 - |
число |
факторов. |
'•'* |
|
||
Этот метод поиска весьма прост, но и весьма трудо |
||||||
емок. Действительно, |
если имеете« всего 3 фактора и |
каждый из них нужно испытать в 10 узлах /такова требу емая точность определения необходимого значения фак тора/, то необходимо выполнить 103 = 1000 опытов, что в .'подавляющем большинстве случаев нереально.
Однако, этот случай следовало бы рассмотреть, так как часто все же, пренебрегая точностью, для небольшою
числа факторов такой поиск планируют, ибо он исключитель но прост. Мы не рекомендуем этот метод дли использова ния.
Более эффективным является локальный поиск на сетке. От предыдущего он отличается тем, что опыты осуществ ляются не все, а лишь те, которые способствуют движению к дели, другими словами выбор следующего варианта опыта доплееч зависеть от результатов предыдущих /обычно со седних/ опытов.
Отметим, что число необходимых опытов по принципу локального поиска на сетке зависит от выбора начальной тички. При удачное выборе это число может быть весьма малым /в пределах - 5/, в менее удачных случаях это чиспо увеличивается, но все равно остается меньшим по сравнению с перебором на сетке.
Прибііи чнтепьно число шагов в локальном поиске на сетке /в сам JM неблагоприятном случае/ может быть оце нено так.
' Пусть в одномерном опыте придется пройти всю ось, тогда чиспо опытов
вдвумерном /пусть зигзагообразно/ мы пройдем
т± + т Р + 1
ер.т.чмальных на дачном іпаге опытов и по 4 = 2 к 2 соседних опытов дпн каждой оптимальной точки.В трех
мерном |
|
|
|
|
|
|
tn i + m t + m 5 + |
3 и |
по 6 = 2 ?: 3 для каждой |
из |
этих |
||
точек н т.д. |
|
|
|
|
|
|
|
Всего надо сделать |
|
|
|
|
|
|
2. И |
( г п + і ) |
опытов |
|
|
|
|
Следовательно, |
для |
приведенного ранее примера |
В = 3 |
||
и |
ГН =1 —1C, |
необходимо |
выполнить всего |
18Û опы |
тов /по сравнению с 1000/ и то лишь в-самом неблагопри ятном случае.
Правда, это достигнуто следующей ценой: предполага ем, что найденный локальный экстремум совпадает с гло бальным, т.е. функция одноэкстремальна, В противном слу чае і.іы рискуем ошибиться.
Но выигрыш в числе опытов столь велик, что очень части идут на такое предположение. Однако, число опытов мож но сокращать и далее.
11.2Пропорциспальный поиск
Вени г процедуре покалыюго поиска на сетке принять не
постоянный шаг, а выбирать его также в зависимости от результатов предыдущих опытов, то выигрыш бѵдет боль шим.
Пусть шаг сетки будет пропорциональным производной функции на исследуем ом участке. Практически
|
+ ( х + & # -і)-4 -(х) |
|
|
- К |
'11.3/ |
Здесь мробь |
соответствует производной, |
вычисленной |
по приращениям функции н аргумента, ь |
К -выбранный |
|
нами коз|н«шиент |
дропоршюнапьно тк. |
|
Иногда этот метод называют методом градиента. Выбор К - сло/к ный процесс. Мочено вначале сказать,
что чем больше К - тем быстрее движение к экстремуму, но в случае неточных данных или неблагоприятных свойств функции /склоны с резко переменной крутизной/ большое К
может привести к "качке", причем процесс "качки" может стать далее расходящимся. Поэтому еще Ньютон предложил депать К переменным. Так, чем меньше ско рость изменения функции /вторая производная/, тем боль ше К можно взять /допустимы широкие шагп/, чем быстрее меняется характер функции, тем осторожнее необходимо двигаться.
Так, если произвести два измерения функции с шагом Л и 2Ù , то приблизительно молено вычислить вторую производную
t ± |
~ |
1 |
r»(X+U)~X(x+à) |
2(Х+*)~У(*П / 11.4/ |
|||
д х і |
" |
л |
L |
д |
|
д |
J |
Тогда^ взяв |
|
|
|
|
|
||
|
|
|
К ~ |
± |
Hit |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
дх*- |
менщу скоростью движе |
|
обеспечим разумный компромисс |
ния и сходимостью. /Знак минус берут при достижении максимума, плюс - минимума, чтобы обеспечить положи
тельность |
К |
/. |
|
|
выбиратьd |
Однако, в данной формуле необходимо снова |
|||||
Обычно рекомендуют |
= 1/2, |
но его можно |
увеличить |
||
почти до |
1. |
|
|
|
|
Практически |
экспериментатор |
выбирает вначале доста |
точно большое К с целью быстрейшего движения и при наступлении "качки" начинает его снижать, руководству ясь интуицией. Правда, многое зависит от стоимости и процолж ительности опытов. И всегда можно подсчитать, что дает выигрыш в затратах и времени - некоторый пере
расход в числе опытов за счет незнания второй производном, либо более точный*расчет правда также при перерасходе в числе опытов.
Наконец, заметим, что если бы мы могли эксперимен
тальным путем |
установить вид и коэффициенты функции |
||
У , то |
для определения экстремума достаточно было бы |
||
решить |
уравнение |
—Q |
|
Это |
такліе |
один из |
возможных вариантов поиска. |
11.3.Метод стохастической аппроксимации
Двигаясь к экстремуму в условиях высокого уровня помех /больших ошибок игмерения/ вполне возможны ошибки в определении градиента , в особенности ' вблизи экстремума, когда частные производные преближаются к нулю.
Например, пусть ошибка измерения рагна Z .тогда в исходной точке будет получено значение
= ÿ ( x o ) + £ o .
После осуществления шага, будет измерено
у , * ( х 0 + л ) = у ( х о + й ) + £ і .
Тогда вместо истинного значения производной
Ц- = т ^ (зс»+й)- ^ х”)]
получим
Ц - = |
|
|
|
^ + - 8 ^ . |
В зависимости |
от величины |
можно двинуться |
||
даже в противоположном |
направления. |
|
|
|
Конечно, пока |
Ж - |
велика по сравнению с ошибкой |
||
|
Эх |
|
|
|
в среднем движение будет к экстремуму /хотя и более |
||||
медленным, чем при отсутствии ошибок/, |
но как только |
|||
станет выполняться условие |
|
|
||
|
|
i t ~ |
д |
° Ѵ |
движение прекрати гоя и экстремума мы |
не достигнем. |
Процесс поиска экстремума превратится в колебательные движения со случайной амплитудой вокруг экстремума.
Рассмотрим |
формулу, иллюстрирующую это явление J-8J, |
Пусть ^ = |
—0,5^ X z |
Максимум функции лежит в точке
ij* ——L х ~ 0 при х = 0 .
Правило |
пропорционального |
поиска |
таково |
|
||||||||
X t+1 = |
|
+ Ѳ[-Lxt + |
= X± (-І- SL) + QS,± . |
|
||||||||
Здесь |
|
|
- |
ошибка |
в определении производной. |
|||||||
Для |
ряда последовательных шагоЬ' получим |
|
||||||||||
|
|
X L = Х0 ( і - B L ) + Q £ , o } |
|
|
||||||||
|
|
X z = Х 0 ( i - 8 L ) l + Ѳ - ( І - 0 U £ o + Ö £ i ; |
|
|||||||||
JCW = Хл (i - QL)'V+ [ Ѳ ( i - |
|
|
+ ... + B ( i S L ) C Z+ Ö ^ J |
|||||||||
Так как экстремум в начале координат, то значение Х^ И |
||||||||||||
есть и отклонение от экстремума. Если |
І1~Ѳ^І< І |
то |
||||||||||
при J / — |
|
|
( i - Q L ) " — |
0 |
. Но второе слагаемое |
|||||||
/в квадратных скобках/ ведет себя по законам случайных |
||||||||||||
чисел» Правда, |
благодаря тому, |
что |
£, |
= Ü, сумма |
в |
|||||||
квадратных скобках также стремится к нулю, однако, под |
||||||||||||
считаем |
дисперсию. |
|
|
|
|
|
|
|
||||
Дисперсия суммы случайных чисел равна сумме диспер |
||||||||||||
сий, тогда |
|
|
|
|
|
|
|
|
|
|
||
|
D |
M |
|
= |
e * [ ( i - e J L ) * (/'~i)'Di: + . . . + ( i - B L ) i Df: + D j . . |
|||||||
Считая, что |
(i~BL)>0 |
и применяя формулу суммы |
||||||||||
бесконечно убывающей геометрической прогрессии получим |
||||||||||||
|
D |
M |
|
= |
в * Р & |
_ _ Ѳ П ь |
|
|
||||
|
|
- (i |
e |
|
Z L t i - * £ ) |
|
||||||
|
|
|
|
|
1 - U - |
ôi)t)* |
|
|
||||
Но дисперсия производной на каждом шаге равна |
|
|||||||||||
0,'с'° " |
TW |
« |
|
а д » |
°Л) |
• |
|
|
||||
|
|
|
и |
ІХ М) - |
|
|
|
|
||||
Следовательно, ошибка |
в определении экстремума |
|
||||||||||
тем больше, |
чем |
больше |
/что очевидно \-(\ тем |
|
||||||||
больше, |
чем |
больше |
Ѳ |
, т.е, |
чем |
быстрее мы; желаем |
||||||
прийти |
к .-экстремуму. |
Тем |
больше |
чем |
меньше Л |
,т.е. |
ности движения, и, наконец, тем больше, чем меньше L т.е. положе функция.
Свойства Функции нам не подвластны и последнее можно лишь иметь-в'виду. Целесообразно также выби
рать максимально возможное |
А |
, и наконец бороться |
||||
за |
более точное |
достижение |
экстремума снижением Da |
|||
и |
в . |
и Ѳ естественно, |
|
|
||
|
Снижение |
приводит к увели |
||||
чению числа наблюдений. Первое - |
за |
счет |
повышения |
|||
количества дублирующих опытов, второе - |
за счет замед |
|||||
ления движения к экстремуму. |
|
|
|
|||
|
Сравнительно резкое снижение |
|
в многомерных |
случаях достигается путем применения специальных планов эксперимента с одновременным варьированием нескольких факторов /чему мы посвятили достаточно много времени
для |
изучения/. |
|
|
|
|
Снижение |
Ѳ |
в принципе нежелательно. |
Если неиз |
||
вестно расстояние до экстремума, то можно так затн-_ |
|||||
нуть поиск, |
что |
затраты станут неприемлемыми. П ото |
|||
му в таких случаях рекомендуется вариант метода сто |
|||||
хастической |
аппроксимации, |
с переменным В |
.причем |
||
чем |
больше |
у/ |
, іем |
меньше S . В конце концов |
|
при |
Ѳ X 0 |
Ь( х ) ~ О |
|
|
Проблемой становится выбор скорости уменьшения S , так как при слишком быстром убывании можно не успеть дойти до экстремума, как движение пракратчтся, при мед ленном - теряются преимущества идеи.
Имеется ряд предложений по выбору S Например
s |
- |
Jf+i |
|
. |
|
/ 11.6 / |
Можно использовать и усовершенствование.
Так, если движение осуществляется несколько р---: в одном и том же направлении, то это почти наверняка
верное направление и снижать ^ S |
нет смысла. При пе |
ремене же направления появляется |
подозрение, что это |
если П - число перемен направления движения, то
является предпочтительным алгоритмом изменения Ѳ
11.4.Наискорейший спуск
Видее пропорционального поиска есть одно слабое место, - после каждого шаге /хотя бы удачного и эффек тивного/ необходимо вычислять размеры и направление сле
дующего шага, а это уже связано с дополнительными опы тами.
Чтобы преодолеть этот недостаток был предложен один из самых популярнейших и эффективнейших методов поиска - метод Наискорейшего спуска.
Его идея в принципе проста - не следует ничего вычис лять, а необходимо двигатюя в первоначально выбранном направлении до тех пор пока это приводит к увеличению целевой функции, и только после достижения её экстре мума поставить опыты в соседних точках, уточнить направ ление и снова как можно скорее двигаться к экстремуму.
По существу, задача многомерного поиска на этом докальном пути движения к экстремуму сразу превращается в одномерную: необходимо искать экстремум на намечен ной в пространстве прямой пинии.
Когда речь идет о многомерном объекте, то в качестве факторов используются самые различные величины, это может быть время /сек/ и температура /град/, концентра ции /г/см а / и т.п.
Поэтому, практически всёгда целесообразно переходить
к безразмерным |
относительным |
единицам |
|
|
|
_ |
Х і ~ Хеи |
/11.7/ |
|
|
|
■и |
5 |
|
где Х±н и |
- |
нижнее и |
верхнее значение |
і -го |
|
|
фактора. |
|
|
Тогда все факторы будут изменяться только в пре делах йфі и не иметь размерностей, /кстати, некоторые алгоритмы например, адаптационные, расчитаны только на безразмерные факторы, изменяющиеся в пределах
Офі/.
Алгоритм наискорейшего спуска будет следующим В начальной точке пространства определяются каким-
либо способом частные производные по всем факторам
|
|
, |
|
ди. |
где |
^ |
|
"я* ’ |
|
- функция цели. |
и |
|||
Затем |
осуществляется |
изменение всех факторов 31L- |
||
на некоторую величину |
ѳ |
д^дхс |
измеряется значение функции цели и сравнивается с пре дыдущим
|
|
/ 11.8/ |
и так |
происходит до тех пор пока Л у. не станет |
рав |
ным |
нулю, после чего вновь определяется градиент |
в |
достигнутой точке и движение продолжается. Окончится оно
тогда, когда |
все |
gу |
|
|
|
Конечно, |
аэс'г |
= 0 ' |
д |
, |
|
на работу алгоритма влияет выбор |
Ö |
||||
однако, благодаря резкому сокращению числа опытов па |
|||||
определение |
градиента |
Ѳ |
можно сделать сравнитель |
но малым и обеспечить планов достижение частного эк стремума на выбранной линии.
11,6, Особенности градиента Градиент не является абсолютно неизменной характе
ристикой свойств процесса. Его величина зависит от масштаба переменной.
Это печальное обстоятельство приводит к тому, что выбрав масштаб факторов, мы субъективно формируем свойства гиперповерхности и в определенной мере влияем на эффективность всей последующей работы.
'Иногда это влияние стань сильно, что приходится в процессе эксперимента менять масштаб факторов.
Это настолько важно, что следует разобраться на
примере. |
9Са - г/т; |
^ - %, |
Пусть X JL - сек, |
||
Алгоритм движения молодом наискорейшего спуска |
*^•1 У+і |
— |
х I# +• а Ч_ |
> |
|
|
|
|
д х і |
|
|
|||
X -z -н+і. - |
X z^ + Q |
■ |
|
|
||
Запишем |
эти формулы в размерностях |
|
|
|||
Сс е к] = [ с е к ] + Ѳ[ |
J |
|
|
|||
[V rJ |
= C'/TJ + 8 C . ^ T] . |
|
|
|||
Для того, |
чтобы соблюдать равенства, Ѳ |
должно |
||||
иметь в первом случае |
размерность |
C£KZ |
а во |
вто- |
||
ром ( г/ т)г |
|
|
|
7о |
|
|
Это, конечно, невозможно. |
|
|
||||
% |
|
|
|
|
|
|
Как только мы |
вводим безразмерные величины, |
т.е^ |
формулыдолжны быть записаны в относительных величи нах, проблема размерностей отпадает и можно рассмот
реть внимательнее |
сам |
градиент. |
Итак пусть |
. |
g " |
|
Y = |
|
|
|
* 6 - Л Н ; |
ц - Л ~ У«— .
*У * - у *
Тогда оба уравнения примут вид
X i (Qj —JCfH » |
Xjo - Х і н ■ а М |
^ІЧ |
|
*^ів - |
ЭС-ІН |
Х і 6 —ЗС^н + Ы д х [ |
^ в - ^ н |
Х і ( Ѳ |
) - Х гІ< . |
Х ц а ~ Х і Н |
Х Л В ~ Х ін |
|
|
+ g - ä L . |
~ Х м |
Х і б - Х л н |
Я в -- Я н |
т.е, коэффициенты при частных производных различны /что необходимо/, но кроме всего зависят or введенных нами величин и JCH . Выбрав их другими, мы попадем в другую точку пространства, пользуясь одними и теми же методами.
Из этих соображений следует полезность вычисления прежде всего знака градиента и использования именно зна ка, ибо эго объективная характеристика.
11.6. Влияние свойств гиперповерхности на эффективность поиска
Все вышеизложенное было справедливо по отношению
к сравнительно "спокойным'-' функциям, применительно к которым можно определить и градиент и шаг движения. Хуже обстоит депо, когда гиперповерхность потека имеет вид достаточно острого гребня или узкого оврага, что
вполне возможно даже из-за плохого |
выбора |
масштаба. |
||||
Все |
методы поиска |
L |
этом случае |
работают |
плохо, так |
|
как |
"удержаться" |
на |
узком' гребне |
и |
двигаться к его |
н.чивысшей точке нелегко.
В таких случаях приходится резко уменьшать величину шагов /другими словами, изменять масштаб факторов/.
Эту особенность поисковых методов следует учитывать, ибо иногда с целью перехода от поиска условного экстре-? , мума
/11.9/
£ (х)