Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Оптимизация. Псевдообращение. Итерации и рекурсии. Учебное пособие
.pdf
ленным значением 𝑏
𝑏1, ..., 𝑏𝑚величиной 𝑎
и его «предсказанной» по предыдущим значениям
𝑚+1
⟨𝑚+1,𝑛⟩𝑥⟨𝑚,𝑛⟩
, так что новое значение 𝑥
⟨𝑚,𝑛⟩
и члена, пропорционального ошибке предсказания по нему добавленного значения 𝑏
Вектор пропорциональности 𝑙
⟨𝑚+1,𝑛⟩
, часто называемый «вектором сглажива-
ния», не зависит от значений 𝑏𝑢, 𝑢 = 1, ..., 𝑚 + 1.
Пусть теперь число слагаемых во внешней сумме соотношения (13.1)
увеличилось на 𝑞, так что она приняла вид
𝑚+𝑞
𝑢=1
𝑏𝑢−
𝑛
𝑖=1
⟨𝑚+𝑞,𝑛⟩
𝑥
𝑖
𝑎𝑖(𝜉𝑢)
2
,
и решается задача: найти
min
⟨𝑚+𝑞,𝑛⟩∈R𝑛
𝑥
причём матрица 𝐴
⟨𝑚+𝑞,𝑛⟩
1
‖𝑏
⟨𝑚+𝑞⟩
⟨𝑚+𝑞,𝑛⟩𝑥⟨𝑚+𝑞,𝑛⟩‖2
− 𝐴
2
связана с матрицей 𝐴
⎛
⟨𝑚,𝑛⟩
𝐴
⟨𝑚+𝑞,𝑛⟩
𝐴
=
⎜
⎜
⎝
⟨(𝑞),𝑛⟩
𝐴
···
⟨𝑚,𝑛⟩
⎞
⎟
⎟
⎠
,
1
⟨𝑚+𝑞,𝑛⟩
=
𝜀
, (13.32)
2
из (13.10) соотношением
𝑚+1
.
где дополнительный блок имеет вид:
⎛
𝑎1(𝜉
𝐴
⟨(𝑞),𝑛⟩
=
⎜
⎜
⎝
𝑎1(𝜉
а вектор 𝑏
⟨𝑚⟩
где 𝑏
⟨𝑚+𝑞⟩
имеет структуру:
⟨𝑚+𝑞⟩
𝑏
=𝑏
определён, как и выше, а
⟨(𝑞)⟩
𝑏
⟨𝑚⟩
= (𝑏
) ... 𝑎𝑛(𝜉
𝑚+1
.
.
.
) ... 𝑎𝑛(𝜉
𝑚+𝑞
𝑇
...𝑏
𝑚+1
.
.
. 𝑏
𝑚+𝑞
⟨(𝑞)⟩
)𝑇.
𝑚+1
.
.
.
𝑚+𝑞
𝑇
⎞
)
⎟
⎟
,
⎠
)
𝑇
,
141
виде:
В соответствии с (13.8) решение задачи (13.32), (13.9) запишется в
или
𝑥
⟨𝑚+𝑞,𝑛⟩
𝑥
⟨𝑚+𝑞,𝑛⟩
=
= 𝐴
⎛
⎜
⎜
⎝
𝐴
⟨(𝑞),𝑛⟩
𝐴
⟨𝑚,𝑛⟩
···
⟨𝑚+𝑞,𝑛⟩
⎞
⎟
⎟
⎠
+
+
⟨𝑚+𝑞⟩
𝑏
⎛
𝑏
⎜
⎜
⎝
𝑏
⟨𝑚⟩
···
(𝑞)
⎞
⎟
⎟
. (13.33)
⎠
Формула Клайна псевдообращения блочных матриц, записанная в транспонированном виде, определяет следующее выражение этого решения через
решение 𝑥
где матрица 𝐿
⟨𝑚,𝑛⟩
задачи (13.10), (13.9):
𝑥
⟨𝑚+𝑞,𝑛⟩
⟨𝑚+𝑞,𝑛⟩
𝐿
⟨𝑚+𝑞,𝑛⟩
определяется в виде:
= 𝐶
= 𝑥
⟨𝑚+𝑞,𝑛⟩
⟨𝑚,𝑛⟩
⟨𝑚+𝑞,𝑛⟩
+ 𝐿
+
+𝐼 − 𝐶
⟨(𝑞)⟩
𝑏
⟨𝑚+𝑞,𝑛⟩
⟨(𝑞),𝑛⟩𝑥⟨𝑚,𝑛⟩
− 𝐴
+
⟨(𝑞),𝑛⟩
𝐴
𝐴
, (13.34)
+
⟨𝑚,𝑛⟩
×
причём
⟨𝑚+𝑞,𝑛⟩
𝐶
Выражение для 𝐿
⟨𝑚,𝑛⟩
𝐴
⟨𝑚+𝑞,𝑛⟩
𝐿
∈ R
×𝐴
= 𝐴
⟨𝑚+𝑞,𝑛⟩
𝐾
𝑚×𝑛
𝑛
=𝐴
⟨(𝑞),𝑛⟩𝐴⟨𝑚,𝑛⟩
⟨(𝑞),𝑛⟩
, то есть rg𝐴
⟨𝑚,𝑛⟩
𝑇
+
𝐾
𝐼 − 𝐴
⟨𝑚,𝑛⟩
+
𝐴
= (𝐼 +𝐼 − 𝐶
×𝐼 − 𝐶
𝑇
𝐴
⟨𝑚+𝑞,𝑛⟩
⟨𝑚,𝑛⟩
в ряде случаев упрощается. Так, если матрица
⟨𝑚,𝑛⟩
= 𝑛, то 𝐶
−1
⟨(𝑞),𝑛⟩
𝐴
×𝐼 + 𝐴
⟨𝑚+𝑞,𝑛⟩
𝐼 − 𝐶
⟨𝑚,𝑛⟩
⟨𝑚+𝑞,𝑛⟩𝐶⟨𝑚+𝑞,𝑛⟩
,
⟨𝑚+𝑞,𝑛⟩𝐶⟨𝑚+𝑞,𝑛⟩
⟨𝑚+𝑞,𝑛⟩
𝑇
×
⟨(𝑞),𝑛⟩
𝐴
⟨𝑚,𝑛⟩
⟨𝑚+𝑞,𝑛⟩𝐶⟨𝑚+𝑞,𝑛⟩
+
⟨(𝑞),𝑛⟩𝐴⟨𝑚,𝑛⟩
𝐴
+
⟨(𝑞),𝑛⟩𝐴⟨𝑚,𝑛⟩
𝐴
= 0 и
𝑇
⟨𝑚,𝑛⟩
𝐴
−1
𝐴
+
+
⟨(𝑞),𝑛⟩
,
+
×
𝑇
)−1. (13.35)
−1
𝑇
(13.36)
142
(это выражение непосредственно обобщает (13.31) и является аналогом (13.32)).
Подобным же образом можно рассмотреть и другие случаи.
До сих пор рассматривались ситуации, когда число слагаемых увеличивалось либо только во внутренней, либо только во внешней суммах соотношения (13.1). Может представить интерес и вопрос об одновременном
увеличении числа слагаемых в обеих суммах. Из предыдущих рекуррентных
процедур следуют по крайней мере два альтернативных варианта двойной
или двухиндексной рекуррентной процедуры:
⟨𝑚+1,𝑛+1⟩
+𝑙
⟨𝑚+1,𝑛+1⟩
𝑥
⟨𝑚+1,𝑛+1⟩
𝑥
⎛
⎜
⎜
𝑏
𝑚+1
⎝
=
=
− 𝑎
⎛
⎜
⎜
⎜
⟨𝑚,𝑛⟩
𝑥
−𝐴
⟨𝑚+1,𝑛⟩
+ 𝑙
⟨𝑚+1,𝑛⟩
𝑏
𝑚+1
+
⟨𝑚+1,𝑛+1⟩(𝑙⟨𝑚+1,𝑛+1⟩)𝑇
𝑎
⟨𝑚+1,𝑛⟩𝑥⟨𝑚,𝑛⟩
− 𝑎
⎜
⎜
················· ···················
⎝
⎛
⟨𝑚,𝑛⟩
𝑥
− 𝐴
⟨𝑚+1,𝑛+1⟩
𝑙
⟨𝑚,𝑛+1⟩
+
𝑇
𝑏
𝑚+1
⟨𝑚,𝑛+1⟩(𝑙⟨𝑚,𝑛+1⟩)𝑇𝑏⟨𝑚⟩
𝑎
⎜
⎜
················· ···················
⎝
⟨𝑚+1,𝑛+1⟩
⟨𝑚,𝑛+1⟩
𝑙
⎛
⟨𝑚,𝑛⟩
𝑥
− 𝐴
⎜
⎜
················· ···················
⎝
𝑇
⟨𝑚⟩
𝑏
⟨𝑚,𝑛+1⟩
⟨𝑚,𝑛+1⟩
𝑙
+
⟨𝑚,𝑛+1⟩(𝑙⟨𝑚,𝑛+1⟩)𝑇𝑏⟨𝑚⟩
𝑎
𝑇
𝑏
⟨𝑚⟩
𝑏
𝑚+1
⎞
−
⎟
⎟
⎟
,
⎟
⎟
⎠
⎞
⎟
⎟
+
⎠
⎞
⎞
⎟
⎟
⎟
⎟
.
⎠
⎠
§ 14. Нелинейный метод наименьших квадратов:
рекуррентно-итерационные процедуры
Как указано в предисловии к главе, нелинейная задача о наименьших
квадратах рассматривается здесь в следующей постановке: найти
𝑚
min
𝑥∈R
𝑓(𝑥) =
𝑛
1
‖𝑅(𝑥)‖2=
2
1
2
𝑢=1
2
𝑟
(𝑥) =
𝑢
1
𝜀. (14.1)
2
Отметим сразу же, что если в параграфе 13 линейная задача о наименьших квадратах формулировалась в контексте задач регрессии, то в данном
параграфе нелинейная задача о наименьших квадратах формулируется в кон-
143
тексте задач нелинейного программирования без конкретизации структуры
невязок 𝑟𝑢(𝑥), 𝑢 = 1, ..., 𝑚.
В предисловии к главе, в параграфах 11, 12 указано также, что большинство методов нелинейного программирования носит итерационный характер: по текущей точке 𝑥𝑐определяется следующая точка 𝑥+так, что последовательность точек {𝑥
(𝑘)
} сходится к решению 𝑥*, причём 𝑓 (𝑥
(𝑘+1)
) < 𝑓 (𝑥
(𝑘)
) на
каждом шаге итерации. В предисловии к главе охарактеризованы основные
методы решения нелинейной задачи о наименьших квадратах: метод ГауссаНьютона, Левенберга-Марквардта и др. Рассмотрим их подробнее, следуя
при этом схеме параграфа 13.
Метод Гаусса-Ньютона основан на аппроксимации функции 𝑅(𝑥) в
окрестности текущей точки 𝑥𝑐её аффинной моделью
𝑀𝑐(𝑥) = 𝑅(𝑥𝑐) + 𝐽(𝑥𝑐)(𝑥 − 𝑥𝑐) = 𝑅(𝑥𝑐) + 𝐽(𝑥𝑐)Δ𝑥
и соответствующей замене нелинейной задачи о наименьших квадратах (14.1)
на линейную вида: найти
min
𝑥∈R
𝑓𝑐(𝑥) =
𝑛
1
‖𝑀𝑐(𝑥)‖2=
2
1
‖𝑅(𝑥𝑐) + 𝐽(𝑥𝑐)Δ𝑥‖2=
2
1
𝜀𝑐, (14.2)
2
где 𝜀𝑐= ‖𝑅(𝑥𝑐) + 𝐽(𝑥𝑐)Δ𝑥‖2– невязка уравнения
𝐽(𝑥𝑐)Δ𝑥 = −𝑅(𝑥𝑐). (14.3)
Здесь 𝐽 – матрица Якоби вектор-функции 𝑅 = (𝑟1, ..., 𝑟𝑚),
𝐽 =
⎛
⎜
⎜
⎝
∇𝑇𝑟
.
.
.
∇𝑇𝑟
⎞
1
⎟
⎟
, ∇𝑟𝑛=
⎠
𝑚
⎛
⎜
⎜
⎜
⎜
⎝
𝜕𝑟
𝜕𝑥
𝜕𝑟
𝜕𝑥
⎞
𝑢
⎟
1
⎟
.
⎟
.
, 𝑢 = 1, ..., 𝑚.
.
⎟
⎠
𝑢
𝑛
В редких случаях, матрица 𝐽(𝑥𝑐) уравнения (14.3) оказывается квад-
ратной и невырожденной; в этом случае его единственное решение
Δ𝑥 = −𝐽−1(𝑥𝑐)𝑅(𝑥𝑐), 𝑥+= 𝑥𝑐+ Δ𝑥 (14.4)
144
является решением задачи (14.2) с нулевой невязкой.
Чаще встречаются случаи, когда матрица 𝐽(𝑥𝑐) ∈ R
𝑚×𝑛
является матрицей общего вида, но оказывается выполненным условие совместности уравнения (14.3), имеющее вид:
𝐽(𝑥𝑐)𝐽+(𝑥𝑐)𝑅(𝑥𝑐) = 𝑅(𝑥𝑐), (14.5)
где 𝐽+(𝑥𝑐) ∈ R
𝑚×𝑛
– псевдообратная к матрице 𝐽(𝑥𝑐). Следует отметить, что
если уравнение (14.3) переписать в эквивалентном виде
𝐽(𝑥𝑐)𝑥 = 𝐽(𝑥𝑐)𝑥𝑐− 𝑅(𝑥𝑐),
то условие его совместности:
𝐽(𝑥𝑐)𝐽+(𝑥𝑐) (𝐽(𝑥𝑐)𝑥𝑐− 𝑅(𝑥𝑐)) = 𝐽(𝑥𝑐)𝑥𝑐− 𝑅(𝑥𝑐),
в силу одного из определяющих соотношений для псевдообратных, а именно
𝐽𝐽+𝐽 = 𝐽, оказывается эквивалентным условию (14.5).
При выполнении последнего условия общее решение уравнения (14.3)
Δ𝑥 = −𝐽+(𝑥𝑐)𝑅(𝑥𝑐) +𝐼 − 𝐽+(𝑥𝑐)𝐽(𝑥𝑐)𝑦, 𝑥+= 𝑥𝑐+ Δ𝑥 (14.6)
является решением задачи (14.2) с нулевой связкой. Это решение единственно, если выполняется наряду с (14.5) условие
𝐽+(𝑥𝑐)𝐽(𝑥𝑐) = 𝐼, (14.7)
и записывается в виде:
Δ𝑥 = −𝐽+(𝑥𝑐)𝑅(𝑥𝑐), 𝑥+= 𝑥𝑐+ Δ𝑥. (14.8)
В других случаях выбор единственного решения из (14.6) подчиняется
тем или иным дополнительным требованиям; таково, например, требование:
найти
Δ𝑥=−𝐽+(𝑥𝑐)𝑅(𝑥𝑐)+(𝐼−𝐽+(𝑥𝑐)𝐽(𝑥𝑐))𝑦
min
145
‖Δ𝑥‖. (14.9)
Решение задачи (14.3), (14.9) называется нормальным; оно также записывается в виде (14.8).
Наиболее реальны случаи, когда матрица 𝐽(𝑥𝑐) имеет общий вид и
условие (14.5) не выполняется, так что решение уравнения (14.3) не существует. Замечателен тот факт, что и в этих случаях соотношение (14.6) даёт
решение задачи (14.2), а соотношение (14.8) – решение задачи (14.2), (14.9);
для уравнения (14.3) они служат соответственно общим и нормальным псевдорешениями. Они также в методе Гаусса-Ньютона определяют основной шаг
итерационной процедуры, записываемой обычно в виде (при традиционном
предположении 𝐽(𝑥𝑐) ∈ R
Δ𝑥 = −𝐽𝑇(𝑥𝑐)𝐽(𝑥𝑐)
𝑚×𝑛
, то есть rg𝐽(𝑥𝑐) = 𝑛, когда 𝐽+=𝐽𝑇𝐽
𝑛
−1
𝐽𝑇(𝑥𝑐)𝑅(𝑥𝑐), 𝑥+= 𝑥𝑐+ Δ𝑥.
−1
𝐽𝑇):
Далее за основу принимается запись (14.3) как более общая и краткая,
а также лучше приспособленная для формулировки рекуррентных процедур.
В предисловии к главе указано, что необходимость в рекуррентных
процедурах решения нелинейной задачи о наименьших квадратах возникает
наряду с итерационными, по крайней мере, в связи с такими ситуациями:
последовательным пересчетом координат следующей точки 𝑥+по текущей
точке 𝑥𝑐; увеличением числа координат вектор-функции 𝑅. Рассмотрим подробнее эти ситуации применительно к методу Гаусса-Ньютона.
Предварительно, для удобства дальнейших формулировок, уточним обозначения векторов и матриц в (14.2): найти
min
⟨𝑚,𝑛⟩∈R𝑛
Δ𝑥
1
‖𝑅
2
⟨𝑚⟩(𝑥⟨𝑚,𝑛⟩
𝑐
) + 𝐽
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝑐
)Δ𝑥
⟨𝑚,𝑛⟩‖2
=
1
2
⟨𝑚,𝑛⟩
𝜀
. (14.10)
При последовательном пересчёте координат точки 𝑥𝑐в координаты
точки 𝑥+на отдельно взятой итерации, рассматриваемом как вариант методов покоординатной оптимизации, обозначим через 𝑥
промежуточные точки такие, что 𝑥
= 𝑥
⟨𝑚,𝜈⟩
− 𝑥
⟨𝑚,𝜈−1⟩
, причём у точки 𝑥
⟨𝑚,0⟩
⟨𝑚,𝜈⟩
таны, а остальные совпадают с координатами точки 𝑥
последних координат вектора Δ𝑥
⟨𝑚,𝜈⟩
с (𝜈 + 1)-й по 𝑛-ю равны нулю, в силу
146
= 𝑥
⟨𝑚,𝑛⟩
𝑐
, 𝑥
⟨𝑚,𝑛⟩
первые 𝜈 координат уже пересчи-
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝜈⟩
, 0 ≤ 𝜈 ≤ 𝑛,
= 𝑥
⟨𝑚,𝑛⟩
+
, Δ𝑥
⟨𝑚,𝜈⟩
, так что (𝑛 − 𝜈)
=
чего в аффинной модели участвует при этом только часть 𝐽
⟨𝑚,𝜈⟩
∈ R
𝑚×𝜈
матрицы Якоби. Именно по индексу 𝜈 формируется рекуррентная процедура на
каждом шаге итерации, что приводит в конечном сёте к одной из разновидностей рекуррентно-итерационных процедур метода Гаусса-Ньютона.
В принятых обозначениях вектор Δ𝑥
⟨𝑚,𝜈⟩
ищется как решение задачи:
найти
min
⟨𝑚,𝜈⟩∈R𝑛
Δ𝑥
1
⟨𝑚⟩(𝑥⟨𝑚,𝜈−1⟩
‖𝑅
2
) + 𝐽
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈−1⟩
)Δ𝑥
⟨𝑚,𝜈⟩‖2
=
1
2
⟨𝑚,𝜈⟩
𝜀
. (14.11)
Переходя к пересчёту (𝜈 + 1)-й координаты, то есть к определению
⟨𝑚,𝜈+1⟩
𝑥
, а значит – к определению Δ𝑥
⟨𝑚,𝜈+1⟩
, отметим, что при этом, вообще
говоря, пересчитываются и все ранее найденные координаты, что отражено
в последующих обозначениях. Вектор Δ𝑥
⟨𝑚,𝜈+1⟩
ищется как решение задачи:
найти
min
⟨𝑚,𝜈+1⟩∈R𝑛
Δ𝑥
где матрица 𝐽
1
‖𝑅
2
⟨𝑚,𝜈+1⟩
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
) + 𝐽
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
)Δ𝑥
структурно связана с матрицей 𝐽
⟨𝑚,𝜈+1⟩‖2
1
=
⟨𝑚,𝜈+1⟩
𝜀
2
⟨𝑚,𝜈⟩
из (14.11) соотно-
, (14.12)
шением
Отметим, что матрица 𝐽
⟨𝑚,𝜈⟩
ке 𝑥
⟨𝑚,𝜈+1⟩
𝐽
=𝐽
⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩
в последней формуле вычисляется в точ-
.
.
. 𝑗
⟨𝑚,𝜈+1⟩
, тогда как в (14.11) эта же матрица вычисляется в точке 𝑥
.
⟨𝑚,𝜈−1⟩
Тем самым, в отличие от линейной задачи о наименьших квадратах, рассмотренной в параграфе 13, в данном случае на следующем шаге рекурсии
не удаётся непосредственно использовать результат предыдущего шага, а
именно псевдообратную матрицу𝐽
вспомогательную матрицу𝐽
обращать ту же матрицу 𝐽
⟨𝑚,𝜈⟩
𝑥
. В этом состоит особенность формируемой рекуррентной процедуры
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩
, но вычисленную в уже найденной точке
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈−1⟩
+
)
, то есть дополнительно псевдо-
+
)
и приходится определять
применительно к нелинейной задаче о наименьших квадратах в отличие от
линейной задачи. Тем не менее сохраняется основной смысл рекуррентного
.
псевдообращения: сведение псевдообращения матрицы определённого разме-
147
ра к псевдообращению матрицы меньшего размера. Последствия отмеченной
особенности встречаются и в дальнейших рассмотрениях.
Дополнительный столбец матрицы 𝐽
⟨𝑚,𝜈+1⟩
𝑗
Вектор Δ𝑥
⟨𝑚,𝜈+1⟩
⟨𝑚,𝜈+1⟩
Δ𝑥
имеет структуру:
причём, как отмечалось, 𝑥
⟨𝑚,𝜈+1⟩
Δ𝑥
(𝜈)𝑖
Δ𝑥
=
=Δ𝑥
⟨𝑚,𝜈+1⟩
(𝜈)
⟨𝑚,𝜈+1⟩
= 𝑥
𝑖
⟨𝑚,𝜈+1⟩
𝜈+1
𝜕𝑥
= 𝑥
𝜕𝑟
1
𝜈+1
⟨𝑚,𝜈+1⟩
(𝜈)
⟨𝑚,𝜈⟩
− 𝑥
⟨𝑚,𝜈+1⟩
= 𝑥
𝜈+1
⟨𝑚,𝜈+1⟩
𝜕𝑟
...
𝜕𝑥
𝑇
.
.
. Δ𝑥
, так что
⟨𝑚,𝜈⟩
, 𝑖 = 1, ..., 𝜈,
𝑖
− 𝑥
имеет вид:
𝑇
𝑚
𝜈+1
⟨𝑚,𝜈+1⟩
𝜈+1
⟨𝑚,𝑛⟩
𝑐 𝜈+1
.
,
𝑇
,
так как пересчёт каждой очередной координаты, вообще говоря, влечёт пересчёт предыдущих координат.
В соответствии с (14.8) решение задачи (14.9), (14.12) запишется в
виде: Δ𝑥
⎛
⎜
Δ𝑥
⟨𝑚,𝜈+1⟩
(𝜈)
⎜
⎝
⟨𝑚,𝜈+1⟩
Δ𝑥
𝜈+1
⟨𝑚,𝜈+1⟩
.
.
.
= −𝐽
⎞
⎟
⎟
= −𝐽
⎠
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
+
)
)
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
𝑅
.
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
.
. 𝑗
) или
)
+
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
𝑅
). (14.13)
Известный алгоритм Гревиля рекурретного псевдообращения матриц,
записываемый «по наращиванию столбцов» определяет следующее выражение этого решения через решение Δ˜𝑥
(14.9), в которой 𝑥
⟨𝑚,𝜈+1⟩
Δ𝑥
(𝜈)
= Δ˜𝑥
⟨𝑚,𝜈−1⟩
⟨𝑚,𝜈+1⟩
Δ𝑥
𝜈+1
⟨𝑚,𝜈⟩
заменено на 𝑥
= −𝑙
+𝐽
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩
⟨𝑚,𝜈+1⟩
)
вспомогательной задачи типа (14.11),
:
𝑇
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
𝑅
+
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
𝑗
), (14.14)
⟨𝑚,𝜈+1⟩
)Δ𝑥
𝜈+1
, (14.15)
148
где вектор𝑙
⟨𝑚,𝜈+1⟩
𝑇
определяется в виде:
⎧
⟨𝑚,𝜈+1⟩
𝑙
=
⟨𝑚,𝜈+1⟩
𝑐
⟨𝑚,𝜈+1⟩‖2
‖𝑐
=𝐼 − 𝐽
⎪
⎪
⎪
⟨𝑚,𝜈+1⟩
⎪
𝑐
⎪
⎪
⎪
⎪
⎪
⎪
⎪
если 𝑐
⎪
⎪
⎪
⎪
⎪
⎪
⎨
𝑇
×𝑗
+
⟨𝑚,𝜈+1⟩
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
=
⎪
в остальных случаях
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎩
⟨𝑚,𝜈+1⟩
𝑗
⟨𝑚,𝜈+1⟩
𝑘
𝑇
⟨𝑚,𝜈⟩
(𝑥
= 1 + ‖𝐽
) = 0;
)𝐽
⟨𝑚,𝜈⟩
𝑇
⟨𝑚,𝜈⟩
𝑘
+
,
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈⟩
+
⟨𝑚,𝜈⟩
(𝑥
⟨𝑚,𝜈+1⟩
⟨𝑚,𝜈⟩)𝑗⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩)‖2
(𝑥
𝑇
)
𝐽
Первому варианту этой формулы соответствует, например, случай (упомянутый ранее), когда матрица 𝐽
⟨𝑚,𝜈⟩
∈ R
𝑚×𝜈
, то есть rg𝐽
𝜈
= 𝜈, а второму варианту – случай, когда матрица 𝐽
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
rg𝐽
) = 𝑚; в последнем случае выражение для 𝑙
⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩
+
⟨𝑚,𝜈⟩
(𝑥
+
⟨𝑚,𝜈⟩
(𝑥
∈ R
⟨𝑚,𝜈+1⟩
)×
)
,
.
(14.16)
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
𝑚×𝜈
, то есть
𝑚
𝑇
упрощает-
) =
ся:
=
1 + 𝑗
𝑗
⟨𝑚,𝜈+1⟩
⟨𝑚,𝜈+1⟩
𝑇
⟨𝑚,𝜈⟩
(𝑥
𝑇
⟨𝑚,𝜈⟩
(𝑥
)𝐽
⟨𝑚,𝜈+1⟩
𝑙
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈⟩
)𝐽
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈⟩
𝑇
= (14.17)
𝑇
⟨𝑚,𝜈⟩
(𝑥
𝑇
⟨𝑚,𝜈⟩
(𝑥
−1
)
−1
)
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
𝑗
.
)
Пусть теперь пересчёт координат точки на шаге итерационного процесса осуществляется «блоками» (поблочно-координатная оптимизация), то есть
после точки 𝑥
⟨𝑚,𝜈⟩
определяется точка 𝑥
последних координат совпадают с координатами точки 𝑥
min
⟨𝑚,𝜈+𝑝⟩
1
2
отыскивается как решение задачи: найти
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
‖𝑅
⟨𝑚,𝜈+𝑝⟩
) + 𝐽
связана с матрицей 𝐽
⟨𝑚,𝜈+𝑝⟩(𝑥⟨𝑚,𝜈⟩
вектор Δ𝑥
⟨𝑚,𝜈+𝑝⟩∈R𝑛
Δ𝑥
причём матрица 𝐽
⟨𝑚,𝜈+𝑝⟩
)Δ𝑥
, 𝜈 +𝑝 ≤ 𝑛, у которой 𝑛 −(𝜈 +𝑝)
⟨𝑚,𝑛⟩
; в этом случае
𝑐
⟨𝑚,𝜈+𝑝⟩‖2
=
1
⟨𝑚,𝜈+𝑝⟩
𝜀
, (14.18)
2
⟨𝑚,𝜈⟩
из (14.11) соотношением
(вычисляются они, как уже отмечалось, в разных точках)
⟨𝑚,𝜈+𝑝⟩
𝐽
=𝐽
⟨𝑚,𝜈⟩
149
.
.
. 𝐽
⟨𝑚,(𝑝)⟩
,
где дополнительный блок имеет вид:
⟨𝑚,(𝑝)⟩
𝐽
=
⎛
⎜
⎜
⎜
⎜
⎝
𝜕𝑥
𝜕𝑟
𝜕𝑥
𝜕𝑟
1
𝜈+1
.
.
.
𝑚
𝜈+1
···
𝜕𝑥
···
𝜕𝑥
𝜕𝑟
𝜕𝑟
1
𝜈+𝑝
.
.
.
𝑚
𝜈+𝑝
⎞
⎟
⎟
⎟
⎟
⎠
,
а вектор Δ𝑥
⟨𝑚,𝜈+𝑝⟩
имеет структуру Δ𝑥
⟨𝑚,𝜈+𝑝⟩
=Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝜈)
𝑇
.
.
. Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝑝)
𝑇
причём
Δ𝑥
⟨𝑚,𝜈+𝑝⟩
Δ𝑥
(𝜈)𝑖
⟨𝑚,𝜈+𝑝⟩
(𝑝)𝑖
= 𝑥
⟨𝑚,𝜈+𝑝⟩
= 𝑥
𝑖
⟨𝑚,𝜈+𝑝⟩
𝑖
− 𝑥
⟨𝑚,𝜈⟩
− 𝑥
⟨𝑚,𝑛⟩
𝑐 𝑖
, 𝑖 = 1, ..., 𝜈,
𝑖
, 𝑖 = 𝜈 + 1,..., 𝜈 + 𝑝,
так как пересчёт каждого очередного блока координат, вообще говоря, влечёт
пересчёт предшествующих координат.
В соответствии с (14.8) решение задачи (14.18), (14.9) запишется в
𝑇
,
виде:
Δ𝑥
⟨𝑚,𝜈+𝑝⟩
= −𝐽
⟨𝑚,𝜈+𝑝⟩(𝑥⟨𝑚,𝜈⟩
+
)
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
𝑅
)
или
⎛
⎜
⎜
⎝
Δ𝑥
Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝜈)
.
.
.
⟨𝑚,𝜈+𝑝⟩
(𝑝)
⎞
⎟
⎟
= −𝐽
⎠
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
.
⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
.
)
. 𝐽
+
)
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
𝑅
Известная формула Клайна псевдообращения блочных матриц определяет следующее выражение этого решения через решение Δ˜𝑥
(14.11), (14.9), в которой 𝑥
⟨𝑚,𝜈+𝑝⟩
Δ𝑥
(𝑝)
Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝜈)
= Δ˜𝑥
⟨𝑚,𝜈⟩
+𝐽
⟨𝑚,𝜈−1⟩
заменено на 𝑥
= −𝐿
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
⟨𝑚,𝜈+𝑝⟩𝑅⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
+
)
𝐽
⟨𝑚,𝜈⟩
:
), (14.20)
⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
)Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝑝)
). (14.19)
⟨𝑚,𝜈⟩
задачи
, (14.21)
где матрица 𝐿
⟨𝑚,𝜈+𝑝⟩
⟨𝑚,𝜈+𝑝⟩
𝐿
определяется в виде:
= 𝐶
⟨𝑚,𝜈+𝑝⟩
+
+𝐼 − 𝐶
150
⟨𝑚,𝜈+𝑝⟩
+
𝐶
⟨𝑚,𝜈+𝑝⟩
×
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]