Лабораторная работа №4 / 4

Министерство образования РФ

Санкт-Петербургский государственный электротехнический

университет «ЛЭТИ»

Кафедра вычислительной техники

ЛАБОРАТОРНАЯ РАБОТА № 4

по учебной дисциплине «МЕТОДЫ ОПТИМИЗАЦИИ»

на тему «исследование градиентных методов»

Вариант 1

Выполнила:

Студентка ___Никитина Т.И._______

Группа _________2375____________

Руководитель:

Алешкевич Павел Александрович

(должность, Ф.И.О.)

Санкт-Петербург

2004

Оглавление:

Задание…………………………………………………………………………….3

Описание методов оптимизации…………………………………………………3

Спецификация программы………………………………………………………..4

Листинг программы ………………………………………………………………4

Результаты тестирования и Выводы…………………….……………………….6

Ответы на контрольные вопросы………………………………………………...6

Задание

Целью работы является разработка программы многомерной минимизации целевых функций на основе применения градиентных методов поиска. В нашем варианте таким методом является метод циклического покоординатного спуска с ускоряющим шагом.

Описание методов оптимизации.

Метод Свенна 4.

Начальный этап. Для запуска метода необходимо:

(1) задать x₀ – начальная точка.

(2) выбрать шаг h равным 0.001 или min{η,|(y₁-y’)/y’₁|}, где η=1,2.

(3) выбрать направление поиска p.

Основной этап

Шаг 1. Установить направление убывания функции. h=h, если y’(x₀,p)<0 и h=-h, если y’(x₀,p)>0.

Шаг 2.Двигаться в направлении р, вычисляя значение функции в точках x_k+1=x_k+h_k*p, h_k=2h_k-1. Пока производная не поменяет знак, т.е. Y’_m-1*Y’_m<0

Шаг 3. Фиксируем начальный интервал: [X_m-1,X_m]

Метод Дэвидона.

Этот метод является аналогом метода кубической аппроксимации в задачах поиска минимума функции нескольких переменных по заданному направлению. Идея метода заключается в том, чтобы на ТИЛ найти аппроксимирующий минимум строя полином 3-го порядка.

Начальный этап:

1. Взять ε, х ₀ – начальную точку поиска, p – направление поиска.

2. Найти начальный шаг α₁ = min{ η,|(y₁-y’)/y’₁|}, где η=1,2. y₁=y(x₁), y’₁ =y’(x₁,p)

3. Получить начальный интервал поиска [a,b] методом Свенна 4.

Основной этап:

1. Найти аппроксимирующий минимум, т.е. точку r по формулам:

r = a+α_r *p

α_r = α _a +γ*( α _b - α_a )

γ=(z-f’_a+W)/(f’_b-f’_a+2*W)

W=√z²-f’_a*f’_b

z=f’_a+f’_b+3*(f_a-f_b)/(b-a)

2. Проверить КОП если Y’r<=ε, то остановиться. X= a+ α_r *p Иначе сократить ТИЛ двумя способами:

Y’r<0 -> [r,b]

Y’r>0 -> [a,r]

Установить k=k+1 и вернуться на шаг 1.

Можно модифицировать алгоритм – ввести смещение точек на α₀ .

Метод Коши

Начальный этап:

Взять ε - погрешность,

х ₀ – начальную точку поиска,

k=1 – счетчик количества итераций.

Основной этап:

Шаг1: Вычислить антиградиентное направление p_k = - grad (y_k );

Шаг2: Найти оптимальный шаг α_k с помощью метода Дэвидона;

Шаг3: Перейти в новую точку:

- x_k+1= x_k + α_k*p_k ;

- k=k+1;

Шаг4: Проверить КОП (любой): ‌

(1) ||∆ x_k|‌|<= e₁

(2) | ∆y_k‌|<= e₂

(3) ||grad (y_k)‌||<= e₃

(4) ||∆ x_k|‌|/(1+||∆ x_k|‌|)<= e₄

(5) ||grad (y_k)‌||/(1+||grad (y_k)‌||)<= e₅

Если КОП выполняется остановимся x_* = x_к+1 , иначе вернуться на

Шаг1.

Спецификация программы.

В прогорамме приведен метод Коши – градиентный метод наискорейшего спуска для функций нескольких переменных. Используется метод Дэвидона и вспомогательный метод Свенна 4 для получения оптимального шага для метода Коши. Присутствуют функции вычисления градиента и функция вычисления производной по направлению в точке.

Текст программы.

#include <iostream.h>

#include <conio.h>

#include <math.h>

/*************************Global'nie peremennie******************************/

double p[2],x0[2],a,b;

/******************************Moya funkciya*********************************/

double f(double t)

{

double x[2];

for(int k=0;k<2;k++)

x[k]=x0[k]+t*p[k];

return (100*pow((x[1]-x[0]*x[0]),2)+pow((1-x[0]),2));

}

/**************************Proizvodnaya funkcii******************************/

double df(double t)

{

double x[2];

for(int k=0;k<2;k++)

x[k]=x0[k]+t*p[k];

return ((-400*(x[1]-x[0]*x[0])*x[0]-2*(1-x[0]))*p[0]+200*(x[1]-x[0]*x[0])*p[1]);

}

/**********************Antigradientnoe napravlenie***************************/

void napr()

{

p[0]=400*(x0[1]-x0[0]*x0[0])*x0[0]+2*(1-x0[0]);

p[1]=-200*(x0[1]-x0[0]*x0[0]);

}

/**********************************Norma*************************************/

double norma(double x1[])

{

return(sqrt(pow((x1[0]-x0[0]),2)+pow((x1[1]-x0[1]),2)));

}

/****************************Metod Svenna 4**********************************/

void Swann4(double t)

{

double s=0;

if(t>fabs((f(0)-df(0))/df(0)))

t=fabs((f(0)-df(0))/df(0));

if(df(0)>0)

for(int k=0;k<2;k++)

p[k]=-p[k];

do

{

s=s+t;

t=2*t;

}

while((df(0)*df(s))>0);

a=s-t/2;

b=s;

}

/***************************Ras4etnie formuli********************************/

double gam(double c)

{

double z,w;

z=df(a)+df(b)+3*(f(a)-f(b))/b;

w=sqrt(z*z-df(a)*df(b));

c=a+((z-df(a)+w)/(df(b)-df(a)+2*w))*(b-a);

return c;

}

/*****************************Metod Devidona*********************************/

double Davidon(double e)

{

double c;

Swann4(1);

do

{

c=gam(c);

if(df(c)<0)

a=c;

else

b=c;

}

while(fabs(df(c))>e);

return c;

}

/******************************Metod Koshi***********************************/

void KOSHI(double e)

{

double alfa,x1[2];

int k;

int g=0;

for(k=0;k<2;k++)

x1[k]=x0[k];

do

{

g++;

for(k=0;k<2;k++)

x0[k]=x1[k];

napr();

alfa=Davidon(e);

for(int k=0;k<2;k++)

x1[k]=x0[k]+alfa*p[k];

}

while((norma(x1)>e)||(fabs(f(0)-f(alfa))>e));

for(k=0;k<2;k++)

x0[k]=x1[k];

cout<<"\nKolli4estvo iteraciy: k = "<<g;

}

/***************************Osnovnaya programma******************************/

void main()

{

clrscr();

double x01[2]={-1.2,1};

// double x02[2]={1.5,2};

// double x03[2]={-2,-2};

double e;

int k;

cout<<"\n---Laboratornaya rabota 4. Issledovanie gradientnih metodov.---";

cout<<"\n-------------------------Variant 1-----------------------------";

cout<<"\n------------------------Metod Koshi----------------------------";

cout<<"\n-------------- Vipolnila: Nikitina T., gr. 2375 ---------------";

cout<<"\n\n\nCelevaya funkciya: 100(x2-x1^2)^2+(1-x1)^2";

cout<<"\nNa4al'naya to4ka poiska: Xo = ( -1.2 ; 1 )";

cout<<"\nVvedite to4nost' poiska: E = ";

cin>>e;

KOSHI(e);

cout<<"\nRezul'tat minimizacii: ";

cout<<"( "<<x0[0]<<" ; "<<x0[1]<<" )";

getch();

}

/*********************************The End************************************/

Результаты тестирования метода:

Ниже приведена таблица с результатами работы программы для функции f(x) = 100(x₂ - x₁²)² + (1 - x₁)², с различными стартовыми точками и точностями вычисления.

Точность:		0.0001		0.00001		0.000001
Метод Коши	К	x*	K	x*	K	x*
X0=(1.2,1)	6241	(0.999902, 0.999803)	9625	(0.999991, 0.999981)	14207	(0.999999, 0.999998)
X0=(1.5,2)	614	(1.00011, 1.000221)	812	(1.000011, 1.000022)	1106	(1.000001, 1.000002)
X0=(-2,-2)	5704	(0.999899, 0.999797)	7410	(0.99999, 0.99998)	9114	(0.999999, 0.999998)

Выводы:

В данной работе был использован метод Свенна4 и метод Дэвидона для получения оптимального шага. Поиск ведется в пространстве, начиная с заданной начальной точки x₀ по антиградиентному направлению p₀. И в результате выполнения метода Коши находится оптимальный шаг, доставляющий минимум в результате исчерпывающего спуска вдоль антиградиентного направления p_к. Полученный шаг соответствует точке x_* = x_к+1 . Большое количество итераций и неточность минимума объясняется тем, что вблизи минимума для реальных (овражных) функций метод зацикливается, либо рыскает и останавливается.

Контрольные вопросы:

1. Представьте один шаг аналитического решения задачи Вашего варианта задания.

2. Сравните методы М4 - М7 с точки зрения организации поиска.

3. Дана функция y(x) = x₁² + x₂² + x₃² - 4x₁ - 8x₂ - 12x₃ + 100.

Исследовать характер стационарной точки.

4. Найти минимум функции y(x) = (x₂ - x₁)² + (1 - x₁)².

5. Найти точку экстремума функции y(x₁, х₂, x₃) = x₁² + 2x₂² + 5x₃² - 2x₁x₂ – 4x₂x₃ – 2x₃.

6