1.2 Метод с наказанием случайностью
Метод
является аналогом метода наискорейшего
спуска, только направление локального
поиска не градиентное, а случайное.
Метод относится к методам многомерной
случайной оптимизации, где величина
шага
при построении улучшающей последовательности
формируется случайным образом. Поэтому
в одной и той же ситуации шаг
может быть различен в отличие от
регулярных методов.
Суть метода заключается в следующем: из текущей точки делают случайные шаги до тех пор, пока не будет найдена точка с лучшим значением критерия оптимальности. Затем в этом направлении регулярным методом одномерного поиска ищут оптимум. В точке оптимума по направлению опять случайным образом ищут новое направление и т.д.
Достоинства метода:
очевидная простота;
выбор случайного вектора для выполнения пробного опыта не зависит от случайных помех и формы поверхности отклика;
позволяет находить глобальный экстремум;
эффективен в задачах высокой размерности и вдали от оптимума, позволяет в среднем быстрее выходить в район оптимума.
Недостатки метода:
в общем случае направление рабочих шагов не является оптимальным;
малая эффективность в условиях пологих поверхностей отклика.
Поиск
заканчивают, когда за заданное число
попыток
не
удается найти точку с лучшим значением
критерия оптимальности, чем имеющаяся
текущая.
Проведение экспериментов
2.1 Метод Гаусса - Зайделя
В связи с тем, что на рассматриваемый нами объект действуют случайные помехи (процесс стохастический), будем дублировать в каждой запланированной точке эксперимент.
В начальной точке (2; -2; 1; 3; 1) проведем двадцать экспериментов и найдем дисперсию и среднее квадратическое отклонение единичного результата.
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
21,614 |
21,071 |
17,271 |
21,886 |
17,814 |
19,6464 |
У6 |
У7 |
У8 |
У9 |
У10 |
|
19,986 |
20,529 |
18,629 |
19,443 |
17,000 |
|
У11 |
У12 |
У13 |
У14 |
У15 |
|
20,800 |
17,000 |
20,257 |
18,900 |
17,000 |
|
У16 |
У17 |
У18 |
У19 |
У20 |
|
20,257 |
22,157 |
18,357 |
20,800 |
22,157 |
;
,
где
2
– дисперсия;
– среднее квадратическое отклонение;
n– число экспериментов.
σ2 =3,217
σ=1,794
Зададимся числом дублей при одних и тех же параметрах xi. Пусть число повторений в процессе проведения эксперимента равно пяти. Тогда найдем среднее квадратическое отклонение для числа экспериментов m=5.
1,794/5=0,359
Отсюда получим
Следовательно, изменение выходной величины уiср должно быть
больше
при различных значениях параметров хi,
т.е.
>
,
где Yi –среднее значение критерия оптимальности i-ого цикла;
Yi+1 –среднее значение критерия оптимальности (i+1) цикла.
Учитываем что, хi может изменяться в пределах [-5;5]
Из
начальной точки с координатами (2;
-2; 1; 3; 1) с Уср=19,6464
ищем минимум критерия поочередно по
всем переменным. Используем прием
последовательного сканирования, т.е.
“шагаем” до первого лучшего значения
критерия, применяя алгоритм х1i+1=хi1
h,
где h
– шаг. Знак «+» или «-» выбирается в
зависимости от направления изменения
критерия: нужно взять такой знак, при
котором критерий уменьшается.
Необходимо выбрать шаг: класс точности промышленного прибора равного 0,5%, при изменении x в интервале [-5:5] получаем:
hmin= (10∙0,5)/100 = 0,05,
где hmin –минимальный шаг изменения x, который мы можем контролировать.
Соответственно шаг h должен быть больше hmin=0,05. Возьмем в первом цикле нашего поиска h=1. Условием окончания поиска будет являться малость изменения критерия оптимальности за один цикл:
>1,077,
где Yi –среднее значение критерия оптимальности i-ого цикла;
Yi+1 –среднее значение критерия оптимальности (i+1) цикла.
Так же условием окончания может быть невозможность улучшения критерия оптимальности ни по одной из переменных.
Таблица 1 – Цикл первый, h=1
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
|
2 |
-2 |
1 |
3 |
1 |
|
|
|
|
|
19,6460 |
|
3 |
|
|
|
|
23,629 |
26,614 |
24,986 |
22,000 |
22,543 |
23,9544 |
|
1 |
|
|
|
|
17,800 |
16,986 |
18,343 |
15,900 |
18,343 |
17,4744 |
Улучшение |
0 |
|
|
|
|
14,900 |
15,986 |
14,629 |
13,543 |
13,271 |
14,4658 |
|
-1 |
|
|
|
|
19,157 |
16,714 |
18,343 |
19,157 |
16,171 |
17,9084 |
Ухудшение |
0 |
-3 |
|
|
|
16,171 |
17,529 |
15,900 |
16,714 |
14,543 |
16,1714 |
|
|
-1 |
|
|
|
12,543 |
12,814 |
13,900 |
14,443 |
16,886 |
14,1172 |
Улучшение |
|
0 |
|
|
|
12,900 |
12,900 |
11,000 |
15,343 |
14,529 |
13,3344 |
|
|
1 |
|
|
|
13,800 |
12,714 |
10,000 |
12,443 |
15,157 |
12,8228 |
|
|
2 |
|
|
|
14,157 |
11,714 |
11,171 |
9,543 |
13,614 |
12,0398 |
|
|
3 |
|
|
|
10,443 |
10,986 |
10,714 |
12,614 |
10,443 |
11,0400 |
|
|
4 |
|
|
|
9,714 |
11,886 |
12,157 |
7,271 |
9,986 |
10,2028 |
|
|
5 |
|
|
|
6,000 |
7,900 |
6,543 |
9,257 |
7,629 |
7,4658 |
Предел Х2 |
0 |
5 |
0 |
|
|
-11,743 |
-9,843 |
-9,843 |
-13,914 |
-10,657 |
-11,2000 |
Улучшение |
|
|
2 |
|
|
33,071 |
33,071 |
33,343 |
29,271 |
33,343 |
32,4198 |
|
|
|
-1 |
|
|
-33,729 |
-34,000 |
-28,843 |
-29,929 |
-31,286 |
-31,5574 |
|
|
|
-2 |
|
|
-51,000 |
-49,914 |
-48,014 |
-46,657 |
-48,557 |
-48,8284 |
Улучшение |
|
|
-3 |
|
|
-61,657 |
-63,557 |
-61,114 |
-65,729 |
-65,729 |
-63,5572 |
|
|
|
-4 |
|
|
-74,657 |
-78,729 |
-74,386 |
-74,386 |
-74,929 |
-75,4174 |
|
|
|
-5 |
|
|
-85,929 |
-88,371 |
-87,557 |
-87,829 |
-88,914 |
-87,7200 |
Предел Х3 |
0 |
5 |
-5 |
2 |
|
-91,743 |
-90,657 |
-91,743 |
-93,643 |
-92,014 |
-91,9600 |
Улучшение |
|
|
|
4 |
|
-78,929 |
-81,914 |
-81,100 |
-78,657 |
-78,114 |
-79,7428 |
|
|
|
|
1 |
|
-95,557 |
-94,200 |
-94,200 |
-97,186 |
-95,829 |
-95,3944 |
Улучшение |
|
|
|
0 |
|
-96,557 |
-98,457 |
-94,657 |
-93,843 |
-94,929 |
-95,6886 |
Улучшение |
|
|
|
-1 |
|
-93,386 |
-98,000 |
-92,843 |
-92,843 |
-97,729 |
-94,9602 |
Ухудшение |
|
|
|
-2 |
|
-89,843 |
-92,286 |
-93,100 |
-92,286 |
-92,829 |
-92,0688 |
Ухудшение |
0 |
5 |
-5 |
0 |
0 |
-98,371 |
-99,729 |
-97,286 |
-99,729 |
-94,843 |
-97,9916 |
Улучшение |
|
|
|
|
2 |
-91,929 |
-96,000 |
-91,929 |
-95,729 |
-91,929 |
-93,5032 |
Ухудшение |
|
|
|
|
-1 |
-95,743 |
-94,657 |
-94,929 |
-94,929 |
-94,929 |
-95,0374 |
Ухудшение |
|
|
|
|
-2 |
-92,200 |
-93,286 |
-94,914 |
-94,643 |
-95,729 |
-94,1544 |
Ухудшение |
На данном этапе цикл 1 при шаге h=1 заканчивается. Лучшая точка имеет координаты (0;5;-5;0;0), значение критерия уср= -97,9916. Следующий цикл заключается опять в поиске минимума функции по переменной x1, затем по x2 и далее по x3, x4 и x5.
На следующем этапе уменьшаем шаг h до 0,5
Таблица 2 – Цикл второй, h=0,5
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
0 |
5 |
-5 |
0 |
0 |
-98,371 |
-99,729 |
-97,286 |
-99,729 |
-94,843 |
-97,9916 |
-0,5 |
|
|
|
|
-96,493 |
-95,679 |
-96,221 |
-95,407 |
-97,85 |
-96,3300 |
0,5 |
|
|
|
|
-98,664 |
-95,136 |
-99,207 |
-94,864 |
-98,664 |
-97,3070 |
0 |
4,5 |
|
|
|
-69,114 |
-71,557 |
-69,114 |
-70,2 |
-73,186 |
-70,6342 |
0 |
5 |
-4,5 |
|
|
-90,407 |
-94,479 |
-90,136 |
-93,121 |
-89,864 |
-91,6014 |
0 |
5 |
-5 |
-0,5 |
|
-96,493 |
-94,593 |
-98,121 |
-98,664 |
-98,936 |
-97,3614 |
|
|
|
0,5 |
|
-94,593 |
-95,136 |
-96,221 |
-98,121 |
-97,036 |
-96,2214 |
0 |
5 |
-5 |
0 |
-0,5 |
-95,95 |
-96,764 |
-97,579 |
-98,121 |
-98,664 |
-97,4156 |
|
|
|
|
0,5 |
-95,407 |
-95,136 |
-95,95 |
-96,221 |
-97,307 |
-96,0042 |
Т.к. улучшений не наблюдается, для уточнения найденного критерия оптимальности уменьшим шаг h до 0,1.
Таблица 3 – Цикл третий, h=0,1
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
|
0 |
5 |
-5 |
0 |
0 |
-98,371 |
-99,729 |
-97,286 |
-99,729 |
-94,843 |
-97,9916 |
|
0,1 |
|
|
|
|
-96,733 |
-99,719 |
-95,376 |
-97,547 |
-94,833 |
-96,8416 |
|
-0,1 |
|
|
|
|
-98,090 |
-96,190 |
-99,719 |
-94,833 |
-97,819 |
-97,3302 |
|
0 |
4,9 |
|
|
|
-93,203 |
-92,660 |
-93,746 |
-93,746 |
-89,946 |
-92,6602 |
|
0 |
5 |
-4,9 |
|
|
-97,633 |
-98,176 |
-98,719 |
-98,990 |
-96,276 |
-97,9588 |
|
0 |
5 |
-5 |
0,1 |
|
-99,990 |
-96,733 |
-97,547 |
-99,447 |
-98,633 |
-98,4700 |
Улучшение |
|
|
|
-0,1 |
|
-99,719 |
-96,190 |
-96,733 |
-99,176 |
-99,176 |
-98,1988 |
|
|
|
|
0,2 |
|
-99,689 |
-99,417 |
-96,160 |
-99,417 |
-98,874 |
-98,7114 |
Улучшение |
|
|
|
0,3 |
|
-99,910 |
-99,096 |
-99,096 |
-99,639 |
-95,839 |
-98,7160 |
Улучшение |
|
|
|
0,4 |
|
-99,026 |
-99,840 |
-97,397 |
-97,126 |
-95,497 |
-97,7772 |
Ухудшение |
0 |
5 |
-5 |
0,3 |
0,1 |
-98,271 |
-97,457 |
-95,829 |
-95,557 |
-99,357 |
-97,2942 |
|
|
|
|
|
-0,1 |
-94,743 |
-94,743 |
-98,543 |
-96,643 |
-99,086 |
-96,7516 |
|
На данном этапе цикл 3 при шаге h=0,1 заканчивается. Лучшая точка имеет координаты (0;5;-5;0,3;0), значение критерия уср= - 98,7160.
=|-97,9916-(-98,7160)|=0,7244 < 1,077
Так как улучшений не наблюдается ни по одной из переменных, то на этом этапе можно считать, что поиск завершен.
Таким образом, получили точку (0;5;-5;0,3;0), которая является решением поставленной задачи, с критерием оптимальности уср= - 98,716.
Чтобы определить, является ли найденный экстремум глобальным или локальным, возьмем новую начальную точку (-2; 2;-1;-3;-1) и проведем заново весь поиск.
-
У1
У2
У3
У4
У5
Уср
11,714
9,814
9,814
13,343
9,543
У6
У7
У8
У9
У10
13,071
12,529
10,629
12,800
10,357
У11
У12
У13
У14
У15
9,4800
12,257
13,886
12,529
12,800
13,071
У16
У17
У18
У19
У20
11,171
10,900
13,071
13,886
9,814
σ2=1,893
σ=1,376
Среднее квадратическое отклонение для числа экспериментов m=5:
1,376/5=0,275
Из новой начальной точки (-2;2;-1;-3;-1) с уcр=9,4800 ищем минимум критерия оптимальности по переменной х1, х2, х3, х4 и потом х5.
Таблица 4 – Цикл первый, h=1
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
|
-2 |
2 |
-1 |
-3 |
-1 |
|
|
|
|
|
9,4800 |
|
-3 |
|
|
|
|
18,886 |
14,271 |
15,900 |
15,629 |
16,714 |
16,2800 |
|
-1 |
|
|
|
|
6,000 |
10,614 |
9,529 |
9,800 |
7,086 |
8,6058 |
Улучшение |
0 |
|
|
|
|
8,257 |
7,714 |
7,443 |
5,814 |
5,271 |
6,8999 |
|
1 |
|
|
|
|
6,814 |
7,629 |
6,814 |
10,071 |
6,000 |
7,4656 |
Ухудшение |
0 |
1 |
|
|
|
13,529 |
10,543 |
14,071 |
14,614 |
13,257 |
13,2028 |
|
|
3 |
|
|
|
-1,014 |
0,343 |
-1,829 |
-1,014 |
0,343 |
-0,6342 |
Улучшение |
|
4 |
|
|
|
-16,457 |
-12,386 |
-14,557 |
-14,829 |
-15,100 |
-14,6658 |
|
|
5 |
|
|
|
-34,000 |
-29,929 |
-33,186 |
-33,729 |
-29,114 |
-31,9916 |
Предел Х2 |
0 |
5 |
-2 |
|
|
-47,471 |
-48,014 |
-50,729 |
-49,914 |
-50,729 |
-49,3714 |
Улучшение |
|
|
0 |
|
|
-10,386 |
-12,829 |
-15,000 |
-12,014 |
-9,843 |
-12,0144 |
|
|
|
-3 |
|
|
-65,729 |
-64,371 |
-61,114 |
-63,286 |
-62,471 |
-63,3942 |
Улучшение |
|
|
-4 |
|
|
-76,014 |
-76,829 |
-79,000 |
-77,100 |
-73,843 |
-76,5572 |
Улучшение |
|
|
-5 |
|
|
-87,557 |
-87,286 |
-85,114 |
-88,371 |
-88,371 |
-87,3398 |
Предел Х3 |
0 |
5 |
-5 |
-4 |
|
-81,371 |
-77,843 |
-80,829 |
-82,186 |
-82,729 |
-80,9916 |
|
|
|
|
-2 |
|
-92,286 |
-92,829 |
-93,100 |
-93,914 |
-92,829 |
-92,9916 |
Улучшение |
|
|
|
-1 |
|
-95,286 |
-98,000 |
-94,471 |
-92,843 |
-96,100 |
-95,3400 |
|
|
|
|
0 |
|
-97,371 |
-96,286 |
-94,657 |
-97,643 |
-95,743 |
-96,3400 |
|
|
|
|
1 |
|
-93,386 |
-94,471 |
-93,114 |
-96,100 |
-93,929 |
-94,2000 |
Ухудшение |
0 |
5 |
-5 |
0 |
-2 |
-91,929 |
-95,729 |
-93,557 |
-93,286 |
-93,557 |
-93,6116 |
|
|
|
|
|
0 |
-98,914 |
-97,557 |
-96,743 |
-94,843 |
-95,929 |
-96,7972 |
Улучшение |
|
|
|
|
1 |
-95,200 |
-95,471 |
-96,557 |
-97,100 |
-94,114 |
-95,6884 |
Ухудшение |
На данном этапе цикл 1 при шаге h=1 заканчивается. Лучшая точка имеет координаты (0;5;-5;0;0), значение критерия уср= -96,7972
Таблица 5 – Цикл второй, h=0,5
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
|
0 |
5 |
-5 |
0 |
0 |
|
|
|
|
|
-96,7972 |
|
-0,5 |
|
|
|
|
-94,864 |
-98,936 |
-97,036 |
-94,593 |
-95,950 |
-96,2758 |
|
0,5 |
|
|
|
|
-99,479 |
-97,036 |
-97,579 |
-95,679 |
-98,121 |
-97,5788 |
Улучшение |
1 |
|
|
|
|
-94,929 |
-94,386 |
-96,286 |
-94,657 |
-96,014 |
-95,2544 |
Ухудшение |
0,5 |
4,5 |
|
|
|
-73,750 |
-72,393 |
-71,850 |
-69,136 |
-73,207 |
-72,0672 |
Ухудшение |
0,5 |
5 |
-4,5 |
|
|
-89,886 |
-92,871 |
-93,686 |
-90,492 |
-89,886 |
-91,3642 |
Ухудшение |
0,5 |
5 |
-5 |
-0,5 |
|
-95,429 |
-98,957 |
-98,143 |
-97,871 |
-95,700 |
-97,2200 |
Ухудшение |
|
|
|
0,5 |
|
-96,514 |
-99,229 |
-96,514 |
-98,143 |
-98,957 |
-97,8714 |
Улучшение |
|
|
|
1 |
|
-95,674 |
-93,864 |
-97,936 |
-94,679 |
-98,750 |
-96,1986 |
Ухудшение |
0,5 |
5 |
-5 |
0,5 |
-0,5 |
-98,707 |
-94,636 |
-98,164 |
-95,721 |
-99,250 |
-97,2956 |
|
|
|
|
|
0,5 |
-94,364 |
-94,093 |
-95,993 |
-98,436 |
-94,093 |
-95,3958 |
|
На данном этапе цикл 2 при шаге h=0,5 заканчивается. Лучшая точка имеет координаты (0,5;5;-5;0,5;0), значение критерия уср= -97,8714
=|-96,7972-(-97,8714)|=1,0742 > 0,825
Проверим на следующем этапе с меньшим шагом не является ли полученная точка искомым экстремумом. Уменьшим шаг h до 0,1.
Таблица 6 – Цикл третий, h=0,1
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
0,5 |
5 |
-5 |
0,5 |
0 |
|
|
|
|
|
-97,8714 |
0,4 |
|
|
|
|
-94,976 |
-97,419 |
-98,233 |
-97,690 |
-95,519 |
-96,7674 |
0,6 |
|
|
|
|
-96,947 |
-98,847 |
-96,404 |
-96,947 |
-97,219 |
-97,2728 |
0,5 |
4,9 |
|
|
|
-93,246 |
-92,160 |
-89,174 |
-89,989 |
-88,903 |
-90,6944 |
0,5 |
5 |
-4,9 |
|
|
-93,604 |
-97,676 |
-98,490 |
-94,961 |
-97,947 |
-96,5356 |
0,5 |
5 |
-5 |
0,4 |
|
-97,147 |
-98,776 |
-97,147 |
-98,233 |
-96,876 |
-97,6358 |
|
|
|
0,6 |
|
-96,133 |
-97,490 |
-98,033 |
-98,576 |
-99,119 |
-97,8702 |
0,5 |
5 |
-5 |
0,5 |
-0,1 |
-97,319 |
-94,604 |
-98,133 |
-97,861 |
96,233 |
-58,3368 |
|
|
|
|
0,1 |
-95,690 |
-98,676 |
-95,961 |
-97,861 |
-98,404 |
-97,3184 |
Т.к. улучшений не наблюдается, для уточнения найденного критерия оптимальности уменьшим шаг h до hmin=0,05
Таблица 7 – Цикл четвертый, h=0,05
X1 |
X2 |
X3 |
X4 |
X5 |
У1 |
У2 |
У3 |
У4 |
У5 |
Уср |
0,5 |
5 |
-5 |
0,5 |
0 |
|
|
|
|
|
-97,8714 |
0,45 |
|
|
|
|
-98,733 |
-94,390 |
-95,748 |
-96,019 |
-95,748 |
-96,1276 |
0,55 |
|
|
|
|
-95,919 |
-96,733 |
-96,190 |
-97,547 |
-97,547 |
-96,7872 |
0,5 |
4,95 |
|
|
|
-92,151 |
-95,679 |
-92,965 |
-94,322 |
-91,879 |
-93,3992 |
0,5 |
5 |
-4,95 |
|
|
-94,926 |
-97,369 |
-96,012 |
-97,640 |
-97,912 |
-96,7718 |
0,5 |
5 |
-5 |
0,45 |
|
-99,005 |
-94,933 |
-99,276 |
-97,647 |
-97,105 |
-97,5932 |
|
|
|
0,55 |
|
-98,090 |
-98,905 |
-97,005 |
-98,090 |
-96,733 |
-97,7646 |
0,5 |
5 |
-5 |
0,5 |
-0,05 |
-98,412 |
-98,683 |
-96,783 |
-98,412 |
-94,340 |
-97,3260 |
|
|
|
|
0,05 |
-95,155 |
-97,326 |
-99,498 |
-95,426 |
-97,055 |
-96,8920 |
Так как улучшений не наблюдается ни по одной из переменных, то на этом этапе можно считать, что поиск завершен.
Таким образом, получили точку (0,5;5;-5;0,5;0), которая является решением поставленной задачи, с критерием оптимальности уср= -97,8714.
После проведения поисков методом Гаусса-Зайделя из двух различных начальных точек получили, что исследуемая функция является многоэкстремальной, имеет несколько минимумов. По методу Гаусса-Зайделя, первый минимум находится в точке (0;5;-5;0,3;0) со значением критерия уср= - 98,716, второй – в точке (0,5;5;-5;0,5;0) с уср= -97,8714. Следовательно, можно сделать вывод о том, что найденный минимум локальный.
.