Метод Гаусса-Зейделя

Этот метод в литературе известен и под другим названием – метод покоординатного спуска.

Рассматриваемый алгоритм состоит в следующем.

1. Задается исходная точка , рис. 1.28.

2. Полагают, что , , … , , т.е. считается неизвестной величиной, а остальные координаты задаются. В таком случае , т е. целевая функция содержит лишь только одну неизвестную величину . Координату найдем, используя необходимое и достаточное условия минимума функции:

(1.105)

За этой операцией скрывается желание отыскать минимальное значение целевой функции среди точек прямой, проходящей через точку параллельно координатной оси 0x₁. Значение , найденное с помощью соотношений (1.105) обозначим как .

3. Задаем , , ,..., , т.е. на втором шаге все координаты заданы кроме координаты , которая находится из условий:

Это значение принимаем за . Так после n-й операции найдутся значения всех n координат , после чего вновь определятся значения координаты и т.д. Процесс вычислений длится до тех пор, пока не выполнится условие

,

где – некоторое малое число.

Рассмотрим геометрическую интерпретацию метода Гаусса-Зейделя. При последовательность операций изображена на рис. 1.28.

Пример. Найти локальный минимум функции

.

Пусть , т.е. .

1. , , ,

.

З аметим, что , следовательно, при функция достигает минимума.

2. , , ,

.

При функция достигает минимума.

3. , и т.д.

Овражный метод

Если целевая функция имеет овражный характер (функция напоминает узкий вытянутый овраг с крутыми склонами, рис. 1.29, дно которого (оно отмечено пунктиром) имеет слабый уклон, то предложенный выше градиентный подход становится малоэффективным при отыскании точки минимума целевой функции, т.к. в таком случае траектория поиска будет переходить со склона на склон при весьма слабом продвижении к точке минимума. Ускорение процесса поиска минимума осуществляется в два этапа.

Первый этап. Задается малое положительное число и затем из выбранной начальной точки осуществляется спуск по антиградиенту с обнуленными компонентами, у которых

.

Смысл этой операции заключается в том, что на первом этапе поиска не принимает в расчет малые компоненты градиента. В результате чего траектория относительно быстро достигает области близкой к дну оврага, см. рис. 1.29.

Второй этап. Задается число . Вновь используется градиентный метод, но теперь обнуляются те компоненты градиента, для которых

.

С мысл этой операции заключается в пресечении попыток траектории поиска интенсивно переходить с одного склона на другой. Движение происходит вблизи дна оврага в сторону точки , см. рис. 1.29.

Рубежный тестовый контроль

1. Градиентом функции называется вектор

1. ориентированный по нормали к линиям уровня этой функции;

2. проекциями которого являются частные производные функции y по координатам , ;

3. направленный в сторону наискорейшего возрастания функции y;

4. .

2. Градиентный метод

1. позволяет отыскивать максимум функции путем использования свойства градиента указывать направление местного наискорейшего возрастания функции;

2. это метод отыскания минимума функции с помощью соотношения

;

3. позволяет определить минимум целевой функции без использования необходимого и достаточного условий;

4. это метод, использующий свойства градиента ориентироваться по нормали к линиям уровня, указывая направление наискорейшего возрастания функции.

3. Метод наискорейшего спуска

   1. оперирует соотношением и позволяет отыскать минимум функции , причем определяется так, что на каждом шаге поиска перемещение в направлений антиградиента – максимальное;

   2. позволяет наискорейшим образом отыскать минимум целевой функции;

   3. позволяет отыскать траекторию перехода из исходной точки в точку минимума целевой функции ;

   4. позволяет отыскать минимум целевой функции путем использования соотношения , .

4. Метод Гаусса-Зейделя

   1. является частным случаем метода наискорейшего спуска;

   2. путем поочередных перемещений вдоль координатных осей позволяет отыскать точку минимума;

   3. опираясь на соотношение

,

позволяет отыскивать минимум целевой функции, где – градиент, ориентированный вдоль координатных осей;

4. является методом покоординатной одномерной оптимизации.

1. Овражный метод

   1. применим к целевым функциям, напоминающим своим рельефом длинный овраг с крутыми склонами;

   2. заключается в спуске на дно «оврага» и затем в движении по дну в сторону минимума;

   3. сокращает время отыскания минимума целевых функций, вид которых напоминает длинный искривленный овраг;

   4. есть модифицированный метод наискорейшего спуска.

2. Вычислительный процесс в градиентных методах прекращается тогда, когда

   1. будет найдена точка минимума или максимума целевой функции;

   2. траектория поиска попадет в малую окрестность точки минимума;

   3. две смежные точки траектории поиска будут находиться на расстоянии меньшем заданной величины;

   4. расстояние от траектории поиска до точки минимума станет меньше некоторой заданной величины .