13. В чем состоят достоинства и недостатки метода Гаусса – Зейделя?
По простоте и удобству реализации предложенный метод обладает всеми достоинствами метода Гаусса-Зейделя. [9]
Гаусса, квадратных корней и др.) и интегральные ( например, метод Гаусса-Зейделя) методы. Аппроксимация уравнения (10.50) осуществляется путем представления интеграла в виде конечной суммы, что легко осуществляется обычно в связи с тем, что практически значения корреляционной и взаимной функций входа и выхода X ( s) и Y ( t) по реализациям этих случайных функций также подсчитывают на цифровых вычислительных машинах. [10]
Для того, чтобы быть уверенным в том, что в результате применения метода Гаусса-Зейделя или метода наискорейшего спуска получен глобальный, а не локальный минимум целевой функции, приходится неоднократно повторять процедуру поиска, начиная его из различных начальных точек в пространстве параметров. [11]
Одним из самых распространенных итерационных методов, отличающийся простотой и легкостью программирования, является метод Гаусса-Зейделя. [12]
14. В чем состоит сущность метода наискорейшего спуска ?
В
этом методе функция минимизируется по
направлению, в котором она быстрее всего
убывает, т.е. в направлении, обратном 
.
Вдоль этого направления функция зависит
от одной параметрической переменной t,
для нахождения минимума которой можно
воспользоваться любым известным методом
поиска минимума функции одной переменной.
Спуск из точки начального приближения 
против
градиента до минимума t определяет
новую точку 
,
в которой вновь определяется градиент
и делается следующий спуск. Условием
окончания процесса, как и в случае
координатного спуска, будет 
.
С помощью метода градиентного спуска минимум гладких функций в общем случае находится быстрее, чем при использовании координатного спуска, однако нахождение градиента численными методами может свести на нет полученный выигрыш. Сходимость плохая для функций с овражным рельефом, т.е. с точки зрения сходимости градиентный спуск не лучше спуска по координатам.
Каждый спуск заканчивается в точке, где линия градиента касательна к линии (поверхности) уровня. Это означает, что каждый следующий спуск должен быть перпендикулярен предыдущему. Таким образом, вместо поиска градиента в каждой новой точке можно сосчитать градиент в начальной точке, и развернуть оси координат так, чтобы одна их осей была параллельна градиенту, а затем осуществлять спуск координатным методом.
15. В чем состоят достоинства и недостатки метода наискорейшего спуска?
Метод наискорейшего спуска требует решения на каждом шаге задачи одномерной оптимизации. Практика показывает, что этот метод часто требует меньшего числа операций, чем градиентный метод с постоянным шагом.
В общей ситуации, тем не менее, теоретическая скорость сходимости метода наискорейшего спуска не выше скорости сходимости градиентного метода с постоянным (оптимальным) шагом.
16. В чем состоит сущность градиентного метода с постоянным шагом ?
В градиентном методе с постоянным шагом исходными данными являются требуемая точность , начальная точка поиска Х0 и шаг поиска h.
Получение новых точек производится по формуле:
Формула (2.7) применяется, если для функции Ф(Х) необходимо найти минимум. Если же задача параметрической оптимизации ставится как задача поиска максимума, то для получения новых точек в градиентном методе с постоянным шагом используется формула:
Каждая из формул (2.6), (2.7) является векторным соотношением, включающим n уравнений. Например, с учетом Хk+1 = ( x1k+1, x2. k+1,…,xnk+1), Хk = ( x1k, x2. k,…,xnk) формула (2.6) примет вид:
(2.8)
или в скалярном виде
В общем виде (2.9) можно записать:
В качестве условия прекращения поиска во всех градиентных методах используется, как правило, комбинация двух условий: Ф(Xk+1 ) - Ф(X k) или
В градиентном методе можно несколько сократить число итераций, если научиться избегать ситуаций, когда несколько шагов поиска выполняются в одном и том же направлении.