Применение временных рядов для анализа больших данных. Учебное пособие по курсу «Математические методы анализа больших данных»

1.11. Чебышёвский итерационный метод

Сучётом начальных условий T0(x) = cos(0) = 1, T1(x) = cos(arccos(x)) =

=x, можно получить выражение для полинома Чебышёва любого порядка

Видно, что выражение всегда будет полиномиальным, несмотря на первоначальное определение через тригонометрические функции. Заметим также, что произошло расширение области определения и области значений. Первоначально область определения определялась функцией y = arccos(x), а область значений – функцией y = cos(x). Полиномы определены при любом действительном x. Значения полиномов также не ограничены. Но интерес будут представлять именно отрезки −1,+1 области

определения и области значений.

Можно точно указать значения корней полинома Чебышёва любого порядка:

матрицы СЛАУ в отрезок −1,+1 области определения полинома Чебышёва, то для всех собственных чисел (для всех компонент невязки в базисе из

21

1. Численные методы решения систем линейных алгебраических уравнений

собственных векторов матрицы СЛАУ) будет выполняться m ( ) 1. При

1.11. Чебышёвский итерационный метод

Чебышёвскому итерационному методу присущи черты и стационарного, и нестационарного метода. От итерации к итерации τs изменяется, как в нестационарных методах. Но следующий пакет из m итераций в точности повторяет предыдущий пакет из m итераций, что присуще ста-

Представим убывания множителя невязки в формате полинома Чебышёва

22

1.12. Нестационарные итерационные методы решения СЛАУ

Оптимальный Чебышёвский набор итерационных параметров име-

ет вид

За приближение к решению СЛАУ следует принимать результат последней итерации пакета. Для сравнения эффективности методов следует иметь в виду, что одна макроитерация Чебышёвского итерационного метода соответствует m итерациям метода простых итераций.

Условие убывания невязки выполняется для пакета итераций в целом, но на отдельных итерациях пакета оно может нарушаться. Это приводит также к тому, что если использовать корни полинома Чебышёва в порядке их возрастания или убывания, то после последней итерации пакета нас ожидало бы снижение невязки, но мы можем получить «floating point overflow», не дотянув до последней итерации пакета. Для исключения подобной ситуации применяют перемешивания корней полинома Чебышёва.

Существуют различные схемы перемешивания (полная тасовка – название одной из адресных функций в Computer Sciences).

23

1. Численные методы решения систем линейных алгебраических уравнений

В случае степени тройки m = 3p [35] за стартовый порядок прини-

чего производится их полная тасовка, а средняя x4 , x5 , x6 треть, упоря-

номерами, кратными тройке. Далее аналогично.

1.12. Нестационарные итерационные методы решения СЛАУ

Рассматриваются следующие нестационарные итерационные методы решения СЛАУ:

−Метод скорейшего спуска.

−Метод минимальных невязок.

−Метод сопряжённых направлений.

Воснове рассматриваемых методов лежит следующий итерационный процесс

направлений так называемое сопряжённое направление. Итерационные

тельное «нестационарные», характеризующее группу методов. Между собой методы различаются идеей, лежащей в основе получения опти-

24

1.14. Метод минимальных невязок

1.13. Метод скорейшего спуска

Итак, задачи (1) и (23) эквивалентны:

минимальное значение которой достигается в вершине соответствующей параболы

т.е. при оптимальном значении

Заметим, что требования положительной определённости и симметрии матрицы СЛАУ существенны.

Заметим также, что невязка ξ(s +1) следующим образом выражается через невязку ξ(s ) :

25

1. Численные методы решения систем линейных алгебраических уравнений

т.е. изменение невязки определяется следующим процессом

1.14. Метод минимальных невязок

Среди методов оптимизации можно выделить два подхода. Первый связан непосредственно с оптимизацией самой целевой функции. Примером может служить метод скорейшего спуска. Второй связан со стремлением добиться равенства нулю квадрата модуля градиента целевой функции. Можно сказать, что в своём развитии первый подход приводит к так называемым двойственным методам. Второй подход приводит к так называемым методам штрафных функций.

Как правило, квадрат модуля градиента целевой функции оказывается более чувствительным к отклонению от нулевого значения, чем сама целевая функция к отклонению от своего оптимального значения. Это приводит к тому, что методы второго типа, как правило, оказываются эффективнее методов первого типа.

Таким образом, в основе метода минимальных невязок лежит тот же самый итерационный процесс

x(s+1) = x(s) + sξ(s),

26

1.15. Метод сопряжённых направлений

В данном случае также получаем квадратичную функцию с графиком – параболой. Если равенство нулю не достигается, то, по крайней мере, минимальное положительное значение достигается в вершине параболы

т.е. при оптимальном значении

Почему невязка была названа градиентом, видно из системы необходимых условий минимума (2).

Заметим также, что в методе минимальных невязок нигде не возникло требования симметрии матрицы.

1.15. Метод сопряжённых направлений

Методы скорейшего спуска и минимальных невязок характеризуются линейной скоростью сходимости. Смысл термина «линейная скорость сходимости» станет понятен, если изобразить график убывания модуля невязки от итерации к итерации в координатах с логарифмическим масштабом вертикальной оси. На таком графике снижению невязки в 100 раз будет соответствовать убывание графика ниже уровня «–2», а снижению в 1000 раз – ниже уровня «–3» и т.д. За неимением лучшего линейная скорость сходимости является приемлемой. Но если есть воз-

27

1. Численные методы решения систем линейных алгебраических уравнений

можность ускорения сходимости, то стремление к этому является естественным. Линейной скоростью сходимости, в общем, характеризуются методы оптимизации первого порядка. Доведение скорости сходимости до предела, граничащего со скоростью сходимости методов второго порядка, выражается в методе сопряжённых направлений, являющегося усовершенствованием метода скорейшего спуска.

С другой стороны, если изобразить траекторию сходимости (методов скорейшего спуска и минимальных невязок) в пространстве приближений к решению, то для СЛАУ с достаточно большим числом обусловленности она будет выглядеть как пила (причём как пила не с несколькими десятками зубьев, а с несколькими сотнями или даже тысячами зубьев). Можно также сравнить эту траекторию с траекторией движения шарика по поверхности цилиндрического жёлоба с небольшим наклоном оси жёлоба в однородном поле тяжести (как дождевые водостоки под кровлями домов). В этом движении можно выделить колебательные движения шарика вокруг оси жёлоба и медленный дрейф вдоль его оси. В данном случае возникает стремление сделать сходимость более монотонной. И если движение на следующей итерации практически противоположно движению на предыдущей итерации, то по двум последовательным итерациям можно получить представление о направлении этого медленного

28

1.15. Метод сопряжённых направлений