Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Оптимизация. Псевдообращение. Итерации и рекурсии. Учебное пособие
.pdf
×𝐾
⟨𝑚,𝜈+𝑝⟩
𝐽
⟨𝑚,𝑛⟩
+
⟨𝑚,𝜈⟩)𝐽⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
(𝑥
𝑇
)
×
×𝐽
причём
⟨𝑚,𝜈+𝑝⟩
𝐶
𝐾
⟨𝑚,𝜈+𝑝⟩
=𝐼 − 𝐽
= (𝐼 +𝐽
⟨𝑚,𝜈⟩
×𝐽
Выражение для 𝐿
Якоби в точке 𝑥
⟨𝑚,𝜈⟩
rg𝐽
𝐿
⟨𝑚,𝜈+𝑝⟩
= 𝑚, то 𝐶
= {𝐼 + 𝐽
⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩)}−1𝐽⟨𝑚,(𝑝)⟩
× 𝐽
+
⟨𝑚,𝜈⟩
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝑛⟩
⟨𝑚,𝜈⟩
+
(𝑥
⟨𝑚,𝜈⟩
⟨𝑚,𝜈+𝑝⟩
⟨𝑚,(𝑝)⟩
⟨𝑚,𝜈⟩
(𝑥
+
⟨𝑚,𝜈⟩)𝐽⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
⟨𝑚,𝜈+𝑝⟩
)𝐼 − 𝐽
⟨𝑚,𝜈⟩)𝐽⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
(𝑥
в ряде случаев упрощается. Так, если матрица
удовлетворяет условию 𝐽
= 0 и
𝑇
⟨𝑚,𝜈⟩
(𝑥
𝑇
⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩)𝐶⟨𝑚,𝜈+𝑝⟩
+
⟨𝑚,𝜈⟩
(𝑥
)𝐼 − 𝐶
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈⟩
)𝐽
(𝑥
⟨𝑚,𝜈⟩
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈⟩
)𝐽
⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
)𝐽
)𝐼 − 𝐶
⟨𝑚,𝜈+𝑝⟩
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩
𝑇
(𝑥
+
),
⟨𝑚,𝜈+𝑝⟩
+
⟨𝑚,𝜈+𝑝⟩
𝐶
⟨𝑚,𝜈⟩
)
𝑇
,
+
⟨𝑚,𝜈+𝑝⟩
𝐶
) ∈ R
−1
×
⟨𝑚,𝜈⟩
(𝑥
𝑇
×
)−1. (14.22)
𝑚×𝜈
, то есть
𝑚
−1
)
(14.23)
(это выражение непосредственно обобщает (14.17)).
Если матрица 𝐽
⟨𝑚,𝜈+𝑝⟩(𝑥⟨𝑚,𝜈⟩
) ∈ R
𝑚×(𝜈+𝑝)
𝜈+𝑝
, то есть rg𝐽
⟨𝑚,𝜈+𝑝⟩(𝑥⟨𝑚,𝜈⟩
) =
= 𝜈 + 𝑝, то
⟨𝑚,𝜈+𝑝⟩
𝐿
= 𝐶
⟨𝑚,𝜈+𝑝⟩
+
(14.24)
(это выражение непосредственно обобщает первый вариант формулы (14.16)).
𝑚×(𝜈+𝑝)
𝑚
⟨𝑚,𝜈⟩)𝐶⟨𝑚,𝜈+𝑝⟩
(𝑥
, то есть rg𝐽
−1
⟨𝑚,𝜈+𝑝⟩
𝐶
⟨𝑚,𝜈+𝑝⟩(𝑥⟨𝑚,𝜈⟩
𝑇
) = 𝑚,
(14.25)
то
Если матрица 𝐽
⟨𝑚,𝜈+𝑝⟩
𝐿
⟨𝑚,𝜈+𝑝⟩(𝑥⟨𝑚,𝜈⟩
=𝐽
⟨𝑚,(𝑝)⟩
) ∈ R
𝑇
(аналогов этой формулы в данном параграфе не было).
Следует отметить, что при использовании в (14.20), (14.21) формулы
(14.24) для 𝐿
⟨𝑚,𝜈+𝑝⟩
справедливо соотношение
⟨𝑚,𝜈+𝑝⟩
𝜀
= 𝜀
⟨𝑚,𝜈⟩
− ‖𝐶
⟨𝑚,𝜈+𝑝⟩
Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝑝)
‖2, (14.26)
151
а при использовании формулы (14.25) – соотношение
⟨𝑚,𝜈+𝑝⟩
𝜀
= 𝜀
⟨𝑚,𝜈⟩
−𝐽
⟨𝑚,(𝑝)⟩(𝑥⟨𝑚,𝜈⟩
×𝐼 − 𝐽
⟨𝑚,𝜈⟩(𝑥⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈⟩
)Δ𝑥
⟨𝑚,𝜈+𝑝⟩
(𝑝)
𝑇
×
+
⟨𝑚,𝜈⟩
(𝑥
)𝑅
⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
). (14.27)
Вычитаемые в этих соотношениях, как и добавки к Δ˜𝑥
⟨𝑚,𝜈⟩
в (14.15),
(14.21), трактуются как «корректирующие члены» при рекуррентной покоординатной или поблочно-координатной оптимизации на каждом шаге итерационного процесса Гаусса-Ньютона.
Перейдём к рассмотрению, применительно к тому же методу, другой из
указанных выше ситуаций, обусловливающих необходимость в рекуррентных
процедурах. Пусть увеличилось на единицу число координат вектор функции
𝑅 так, что
𝑅
⟨𝑚+1⟩
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
······
⎝
𝑟
𝑟
1
.
.
.
𝑟
𝑚
𝑚+1
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
······
⎝
𝑟
𝑅
𝑚+1
⟨𝑚⟩
⎞
⎟
⎟
⎠
, 𝐽
⟨𝑚+1,𝑛⟩
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
∇𝑇𝑟
∇𝑇𝑟
······
∇𝑇𝑟
.
.
.
𝑚+1
𝑚
⎞
1
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
⎝
⟨𝑚,𝑛⟩
𝐽
······
∇𝑇𝑟
𝑚+1
⎞
⎟
⎟
⎠
.
Ограничимся рассмотрением случая, когда дополнительная координата
вектор-функции 𝑅 появляется в процессе итерационного счёта, после определения текущей точки 𝑥𝑐= 𝑥
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
+
+ Δ𝑥
дующая точка 𝑥+= 𝑥
выше: 𝑥
⟨𝑚,𝑛⟩
+
= 𝑥
же дополнительная координата появилась, то следующая точка 𝑥+= 𝑥
определяется в виде: 𝑥
⟨𝑚+1,𝑛⟩
+
⟨𝑚,𝑛⟩
. Если эта координата не появилась, то сле-
𝑐
определяется в виде неоднократно использованном
⟨𝑚,𝑛⟩
= 𝑥
, где Δ𝑥
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
+ Δ𝑥
– решение задачи (14.10). Если
⟨𝑚+1,𝑛⟩
+
⟨𝑚+1,𝑛⟩
, где Δ𝑥
⟨𝑚+1,𝑛⟩
является ре-
шением задачи: найти
min
⟨𝑚+1,𝑛⟩∈R𝑛
Δ𝑥
Здесь матрица 𝐽
1
⟨𝑚+1⟩(𝑥⟨𝑚,𝑛⟩
‖𝑅
2
𝑐
⟨𝑚+1,𝑛⟩
) + 𝐽
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚+1,𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝑐
)Δ𝑥
⟨𝑚+1,𝑛⟩‖2
) непосредственно связана с матрицей 𝐽
=
1
𝜀
2
⟨𝑚+1,𝑛⟩
. (14.28)
⟨𝑚,𝑛⟩
из (14.10) соотношением
(𝑥
⟨𝑚,𝑛⟩
𝑐
)
152
⟨𝑚+1,𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝐽
⎛
⟨𝑚,𝑛⟩
𝐽
⎜
⎜
) =
𝑐
············
⎝
∇𝑇𝑟
𝑚+1
(𝑥
⟨𝑚,𝑛⟩
𝑐
(𝑥
⟨𝑚,𝑛⟩
𝑐
⎞
)
⎟
⎟
.
⎠
)
Таким образом, в данной ситуации, в отличие от предыдущей, матрица
𝐽
⟨𝑚,𝑛⟩
(𝑥
⟨𝑚,𝑛⟩
) из (14.10) и результаты манипулирования с ней (в частности,
𝑐
её псевдообратная) могут быть непосредственно использованы при переходе
от 𝑚 к (𝑚 + 1) координат вектор-функции 𝑅.
В соответствии с (14.8) решение задачи (14.28), (14.9) запишется в
виде:
Δ𝑥
⟨𝑚+1,𝑛⟩
Δ𝑥
⟨𝑚+1,𝑛⟩
= −𝐽
= −
⟨𝑚+1,𝑛⟩(𝑥⟨𝑚,𝑛⟩
⎛
⟨𝑚,𝑛⟩
𝐽
⎜
⎜
············
⎝
∇𝑇𝑟
𝑚+1
(𝑥
⟨𝑚,𝑛⟩
𝑐
(𝑥
⟨𝑚,𝑛⟩
𝑐
+
)
𝑐
⎞
)
⎟
⎟
⎠
)
⟨𝑚+1⟩(𝑥⟨𝑚,𝑛⟩
𝑅
⎛
+
𝑅
⟨𝑚⟩
⎜
⎜
············
⎝
𝑟
𝑚+1
(𝑥
(𝑥
𝑐
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
𝑐
) или
⎞
)
⎟
⎟
. (14.29)
⎠
)
Алгоритм Гревиля рекурретного псевдообращения матриц, записанный
«по наращиванию строк», определяет следующее выражение этого решения
⟨𝑚,𝑛⟩
Δ𝑥
где вектор 𝑙
через решение задачи (14.10), (14.9):
⟨𝑚+1,𝑛⟩
Δ𝑥
= Δ𝑥
⟨𝑚,𝑛⟩
⟨𝑚+1,𝑛⟩
⟨𝑚+1,𝑛⟩
− 𝑙
𝑟
𝑚+1
(𝑥
определяется в виде:
⟨𝑚,𝑛⟩
𝑐
) + ∇𝑇𝑟
=
𝑚+1
(𝑥
⟨𝑚,𝑛⟩
𝑐
)Δ𝑥
⟨𝑚,𝑛⟩
, (14.30)
⟨𝑚+1,𝑛⟩
𝑙
⎧
⎪
⎪
⎪
⟨𝑚+1,𝑛⟩
⎪
𝑐
⎪
⎪
⎪
⎪
⎪
⎪
⎪
если 𝑐
⎪
⎪
⎪
⎪
⎪
⎪
⎨
×𝐼 − 𝐽
+
=
⟨𝑚+1,𝑛⟩
⟨𝑚,𝑛⟩
=
⎪
в остальных случаях
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎪
⎩
𝐽
𝑘
+
⟨𝑚,𝑛⟩
⟨𝑚+1,𝑛⟩
⟨𝑚,𝑛⟩
(𝑥
𝑐
= 1 + ‖∇𝑇𝑟
⟨𝑚+1,𝑛⟩
𝑐
⟨𝑚+1,𝑛⟩‖2
‖𝑐
= ∇𝑇𝑟
+
(𝑥
)𝐽
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
𝑇
,
𝑚+1
)𝐽
+
(𝑥
⟨𝑚+1,𝑛⟩
𝑘
𝑚+1
153
(𝑥
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
(𝑥
𝑐
)
)𝐽
)×
𝑇
⟨𝑚,𝑛⟩
)= 0;
∇𝑟
𝑚+1
+
(𝑥
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚,𝑛⟩
𝑐
(14.31)
)
,
)‖2.
Первому варианту этой формулы соответствует, например, случай, ко-
(𝑥
⟨𝑚,𝑛⟩
𝑐
) ∈ R
𝑚×𝑛
, то есть rg𝐽
𝑚
⟨𝑚,𝑛⟩
(𝑥
⟨𝑚,𝑛⟩
𝑐
гда матрица 𝐽
⟨𝑚,𝑛⟩
рианту – случай, когда матрица 𝐽
= 𝑛; в последнем случае выражение для 𝑙
⟨𝑚+1,𝑛⟩
𝑙
⟨𝑚,𝑛⟩
=
⟨𝑚,𝑛⟩
) ∈ R
(𝑥
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑚×𝑛
, то есть rg𝐽
𝑛
⟨𝑚+1,𝑛⟩
𝑐
) упрощается:
) = 𝑚, а второму ва-
(𝑥
⟨𝑚,𝑛⟩
𝑐
) =
⟨𝑚,𝑛⟩
=
1 + ∇𝑇𝑟
𝑚+1
𝐽
(𝑥
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
𝑐
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
)𝐽
)𝐽
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
𝑇
(𝑥
(𝑥
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
𝑐
)𝐽
)
⟨𝑚,𝑛⟩
−1
(𝑥
∇𝑟
⟨𝑚,𝑛⟩
𝑐
𝑚+1
)
(𝑥
−1
⟨𝑚,𝑛⟩
𝑐
∇𝑟
)
𝑚+1
(𝑥
⟨𝑚,𝑛⟩
𝑐
(14.32)
)
(это выражение является аналогом (14.17)).
Следует отметить определённое отличие структуры рекуррентного выражения (14.30) от рекуррентных выражений (14.14), (14.15). А именно, в
(14.30) «корректирующий член» пропорционален «предсказанному» по Δ𝑥
значению аффинной модели добавленной координаты 𝑟
вектор-функции
𝑚+1
⟨𝑚,𝑛⟩
𝑅, причём это значение совпадает со своим отклонением от нуля, определяя ошибку данного предсказания. Тем самым «новое» значение Δ𝑥
получается в виде разности его «старого» значения Δ𝑥
ционального ошибке предсказания. Вектор пропорциональности 𝑙
⟨𝑚,𝑛⟩
и члена, пропор-
⟨𝑚+1,𝑛⟩
⟨𝑚+1,𝑛⟩
, как
и в линейной задаче о наименьших квадратах, может быть назван «вектором
сглаживания».
Пусть теперь число координат вектор-функции 𝑅 увеличилось на 𝑞, так
что
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⟨𝑚+𝑞⟩
𝑅
=
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝑟
1
.
.
.
𝑟
𝑚
······
𝑟
𝑚+1
.
.
.
𝑟
𝑚+𝑞
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
······
⎝
𝑅
𝑅
⟨𝑚⟩
⟨(𝑞)⟩
⎞
⎟
⎟
⎠
, 𝐽
⟨𝑚+𝑞,𝑛⟩
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
∇𝑇𝑟
∇𝑇𝑟
······
∇𝑇𝑟
∇𝑇𝑟
.
.
.
𝑚+1
.
.
.
𝑚+𝑞
𝑚
⎞
1
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
=
⎛
⎜
⎜
······
⎝
𝐽
⟨𝑚,𝑛⟩
𝐽
⟨(𝑞),𝑛⟩
⎞
⎟
⎟
⎠
.
⎟
⎟
⎠
154
⟨𝑚+𝑞,𝑛⟩
𝑥
+
Следующая точка 𝑥+= 𝑥
= 𝑥
⟨𝑚,𝑛⟩
𝑐
+ Δ𝑥
⟨𝑚+𝑞,𝑛⟩
, где Δ𝑥
⟨𝑚+𝑞,𝑛⟩
+
⟨𝑚+𝑞,𝑛⟩
определяется в этом случае в виде
является решением задачи: найти
Δ𝑥
⟨𝑚,𝑛⟩
𝐽
виде:
или
1
min
⟨𝑚+𝑞,𝑛⟩∈R𝑛
⟨𝑚+𝑞⟩(𝑥⟨𝑚,𝑛⟩
‖𝑅
2
Здесь матрица 𝐽
⟨𝑚,𝑛⟩
(𝑥
) из (14.10) соотношением
𝑐
) + 𝐽
𝑐
⟨𝑚+𝑞,𝑛⟩
⟨𝑚+𝑞,𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝐽
(𝑥
⟨𝑚+𝑞,𝑛⟩(𝑥⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
) непосредственно связана с матрицей
𝑐
𝑐
⎛
⟨𝑚,𝑛⟩
𝐽
⎜
⎜
) =
𝑐
············
⎝
⟨(𝑞),𝑛⟩
𝐽
)Δ𝑥
(𝑥
(𝑥
⟨𝑚+𝑞,𝑛⟩‖2
⟨𝑚,𝑛⟩
𝑐
⎞
)
⎟
⎟
⎠
⟨𝑚,𝑛⟩
)
𝑐
1
=
⟨𝑚+𝑞,𝑛⟩
𝜀
. (14.33)
2
.
В соответствии с (14.8) решение задачи (14.33), (14.9) запишется в
+
)
⟨𝑚+𝑞⟩(𝑥⟨𝑚,𝑛⟩
𝑅
⎛
⟨𝑚⟩
𝑅
(𝑥
⎜
⎜
············
⎝
⟨(𝑞)⟩
𝑅
(𝑥
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
𝑐
)
⎞
)
⎟
⎟
. (14.34)
⎠
)
Δ𝑥
Δ𝑥
⟨𝑚+𝑞,𝑛⟩
⟨𝑚+𝑞,𝑛⟩
= −
= −𝐽
⎛
⟨𝑚,𝑛⟩
𝐽
⎜
⎜
············
⎝
⟨(𝑞),𝑛⟩
𝐽
⟨𝑚+𝑞,𝑛⟩(𝑥⟨𝑚,𝑛⟩
⎞
+
)
⎟
(𝑥
⟨𝑚,𝑛⟩
𝑐
⎟
⎠
⟨𝑚,𝑛⟩
(𝑥
)
𝑐
Формула Клайна псевдообращения блочных матриц, записанная в транспонированном виде, определяет следующее выражение этого решения через
решение Δ𝑥
= Δ𝑥
где матрица 𝐿
⟨𝑚+𝑞,𝑛⟩
𝐿
×𝐽
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
задачи (14.10), (14.9):
⟨𝑚+𝑞,𝑛⟩
− 𝐿
⟨𝑚+𝑞,𝑛⟩
⟨𝑚+𝑞,𝑛⟩
= 𝐶
𝑐
⟨𝑚+𝑞,𝑛⟩
Δ𝑥
⟨(𝑞)⟩(𝑥⟨𝑚,𝑛⟩
𝑅
) + 𝐽
𝑐
определяется в виде:
)𝐽
+
⟨𝑚,𝑛⟩
+𝐼 − 𝐶
+
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚+𝑞,𝑛⟩
)
+
𝑇
𝐾
=
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝐽
⟨𝑚+𝑞,𝑛⟩
𝑐
𝑐
𝐼 − 𝐶
⟨𝑚,𝑛⟩
)Δ𝑥
⟨𝑚,𝑛⟩
)𝐽
⟨𝑚+𝑞,𝑛⟩𝐶⟨𝑚+𝑞,𝑛⟩
, (14.35)
+
⟨𝑚,𝑛⟩
(𝑥
𝑐
)×
+
,
причём
155
⟨𝑚+𝑞,𝑛⟩
𝐶
𝐾
= 𝐽
⟨𝑚+𝑞,𝑛⟩
×𝐼 − 𝐶
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝑐
)𝐼 − 𝐽
= (𝐼 +𝐼 − 𝐶
⟨𝑚+𝑞,𝑛⟩𝐶⟨𝑚+𝑞,𝑛⟩
+
⟨𝑚,𝑛⟩
⟨𝑚+𝑞,𝑛⟩𝐶⟨𝑚+𝑞,𝑛⟩
(𝑥
+
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝐽
⟨𝑚,𝑛⟩
𝑐
+
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
)𝐽
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
𝐽
⟨𝑚,𝑛⟩
)𝐽
𝑐
),
𝑐
+
⟨𝑚,𝑛⟩
)𝐽
𝑐
+
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑇
)
)−1. (14.36)
)×
⟨𝑚+𝑞,𝑛⟩
⟨𝑚,𝑛⟩
(𝑥
)𝐽
𝑐
× (𝐼 + 𝐽
в ряде случаев упрощается.
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
(𝑥
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
⟨(𝑞),𝑛⟩(𝑥⟨𝑚,𝑛⟩
) ∈ R
𝑐
𝑐
𝑐
× 𝐽
𝑚×𝑛
, то есть rg𝐽
𝑛
−1
)
)(𝐽
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
⟨(𝑞),𝑛⟩
𝐽
⟨𝑚,𝑛⟩
𝑐
𝑇
(𝑥
))−1𝐽
𝑇
(𝑥
⟨𝑚,𝑛⟩
𝑐
⟨𝑚,𝑛⟩
𝑐
)×
⟨(𝑞),𝑛⟩
)×
𝑇
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
(𝑥
𝑐
(𝑥
⟨𝑚,𝑛⟩
𝑐
−1
))
) = 𝑛, то
(14.37)
⟨𝑚+𝑞,𝑛⟩
𝐶
𝐿
Выражение для 𝐿
Так, если матрица 𝐽
= 0 и
𝑇
⟨𝑚+𝑞,𝑛⟩
=𝐽
⟨𝑚,𝑛⟩
(это выражение непосредственно обобщает (14.32) и является аналогом (14.23)).
Подобным же образом можно рассмотреть и другие случаи.
Применительно к методу Левенберга-Марквардта рассмотрим ситуацию увеличения числа координат вектор функции 𝑅. В соответсвии с указанным в предисловии к главе основным соотношением этого метода запишем:
Δ𝑥
⟨𝑚,𝑛⟩
Δ𝑥
⟨𝑚+1,𝑛⟩
= −𝐽
×𝐽
= −𝐽
×𝐽
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
⟨𝑚+1,𝑛⟩
⟨𝑚+1,𝑛⟩
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
)𝐽
⟨𝑚⟩(𝑥⟨𝑚,𝑛⟩
)𝑅
)𝐽
)𝑅
𝑐
⟨𝑚+1,𝑛⟩(𝑥⟨𝑚,𝑛⟩
⟨𝑚+1⟩(𝑥⟨𝑚,𝑛⟩
𝑐
𝑐
) + 𝜇𝑐𝐼
),
𝑐
).
−1
) + 𝜇𝑐𝐼
×
−1
×
Соотношение Жуковского-Липцера позволяет записать аналогичное (14.30)
соотношение:
Δ𝑥
⟨𝑚+1,𝑛⟩
= Δ𝑥
⟨𝑚,𝑛⟩
− 𝑣
⟨𝑚+1,𝑛⟩
×
×𝑟
𝑚+1
(𝑥
⟨𝑚,𝑛⟩
𝑐
) + ∇𝑇𝑟
𝑚+1
(𝑥
⟨𝑚,𝑛⟩
𝑐
)Δ𝑥
⟨𝑚,𝑛⟩
𝑐
, (14.38)
156
где вектор 𝑣
⟨𝑚+1,𝑛⟩
определяется в виде:
(𝑥
⟨𝑚,𝑛⟩
⟨𝑚,𝑛⟩
𝑐
𝑚+1
∇𝑟
)
, (14.39)
(𝑥
𝑚+1
⟨𝑚,𝑛⟩
𝑐
(𝑥
⟨𝑚,𝑛⟩
)Γ
, (14.40)
⟨𝑚,𝑛⟩
). (14.41)
𝑐
а матрица Γ
Γ
⟨𝑚,𝑛⟩
⟨𝑚+1,𝑛⟩
, в свою очередь, определяется в виде:
= Γ
при этом скаляр 𝛾
⟨𝑚,𝑛⟩
𝛾
𝑣
⟨𝑚,𝑛⟩
−
⟨𝑚,𝑛⟩
определяется в виде:
= 𝜇𝑐+ ∇𝑇𝑟
⟨𝑚+1,𝑛⟩
⟨𝑚,𝑛⟩
Γ
=
∇𝑟
Γ
𝑚+1
𝑚+1
⟨𝑚,𝑛⟩
(𝑥
⟨𝑚,𝑛⟩
(𝑥
𝑐
∇𝑟
𝛾
⟨𝑚,𝑛⟩
𝑐
𝑚+1
⟨𝑚,𝑛⟩
)∇𝑇𝑟
⟨𝑚,𝑛⟩
𝛾
)Γ
В этих соотношениях в качестве начальных условий естественным образом полагается Δ𝑥
⟨0,𝑛⟩
= 0, Γ
⟨0,𝑛⟩
= 𝐼 (первое из них относится к (14.30).
В случае методов полностью ньютоновского типа возникает необходимость связать указанное в предисловии к главе основное соотношение:
либо с
Δ𝑥
либо с
Δ𝑥
⟨𝑚,𝑛⟩
Δ𝑥
⟨𝑚,𝜈+1⟩
⟨𝑚+1,𝑛⟩
= −𝐽
= −𝐽
= −𝐽
⟨𝑚,𝑛⟩
×𝐽
⟨𝑚,𝜈+1⟩
×𝐽
⟨𝑚+1,𝑛⟩
×𝐽
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚,𝑛⟩
𝑇
⟨𝑚,𝜈⟩)𝐽⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
(𝑥
⟨𝑚,𝜈+1⟩
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
⟨𝑚+1,𝑛⟩
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
)𝐽
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑇
⟨𝑚,𝜈⟩)𝑅⟨𝑚⟩(𝑥⟨𝑚,𝜈⟩
(𝑥
⟨𝑚+1,𝑛⟩(𝑥⟨𝑚,𝑛⟩
)𝐽
𝑇
⟨𝑚,𝑛⟩
(𝑥
𝑐
𝑐
⟨𝑚⟩(𝑥⟨𝑚,𝑛⟩
)𝑅
𝑐
⟨𝑚+1⟩(𝑥⟨𝑚,𝑛⟩
)𝑅
) + 𝑄
𝑐
) + 𝑄
) + 𝑄
𝑐
⟨𝑚,𝑛⟩(𝑥⟨𝑚,𝑛⟩
),
⟨𝑚,𝜈+1⟩(𝑥⟨𝑚,𝜈⟩
),
⟨𝑚+1,𝑛⟩(𝑥⟨𝑚,𝑛⟩
).
−1
)
𝑐
×
−1
)
×
−1
)
𝑐
×
157
По сравнению с рассмотренными выше методами основная возникающая здесь проблема связана с появлением матриц типа 𝑄, рекуррентный
пересчет которых при изменении 𝑚 и 𝑛 теперь организовать уже сложнее.
Это обусловлено тем, что матрица 𝑄, несущая информацию о производных
𝑚
второго порядка, имеет структуру 𝑄 =
𝑟𝑢· 𝐺𝑢, где 𝐺𝑢– матрицы Гессе
𝑢=1
функций 𝑟𝑢, 𝑢 = 1, ..., 𝑚, образованные их производными второго порядка по
переменным 𝑥𝜈, 𝜈 = 1, ..., 𝑛.
Основы изложенных в данном параграфе рекуррентно-итерационных
процедур представлены в работе [18], а их развёрнутое детализированное изложение – в учебном пособии [19]. Следует отметить, что ещё в работе [108]
присутствовали элементы рекуррентно-итерационного подхода, выраженные
в схеме процесса подстройки, при появлении новых наблюдений, идентифицируемых параметров модели – см. также рис. 4.2.1 в [109]. В монографии [110] представлено развитие уже нового подхода к глобальной поисковой
недифференцируемой оптимизации, основанного на усреднении координат и
адаптации области поиска.
158
Задания и упражнения
В этом разделе приведены задания и упражнения, охватывающие основные разделы оптимизации и псевдообращения. Первая часть заданий посвящена одномерной оптимизации, а также многомерной оптимизации без
ограничений и при наличии ограничений-равенств и смешанных ограничений. Во второй части заданий представлены упражнения на нахождение
псевдообратных матриц, а также на доказательства некоторых совйств псевдообратных матриц. В третьей части заданий приведены содержательные задачи, требующие нахождения оптимальных параметров некоторых систем.
Четвёртая часть включает набор тестовых функций для апробации алгоритмов и методов оптимизации.
Часть 1. Оптимизационная математика
Задача 1. Одномерная оптимизация. Найдите оптимумы функций.
Вариант Функция Вариант Функция
1 𝑓(𝑥) = 2
√
3
𝑥5− 5
√
3
𝑥2+ 1 11 𝑓(𝑥) = 𝑒−𝑥+ 𝑒
2 𝑓(𝑥) = 3𝑥 − tg𝑥 12 𝑓(𝑥) = (2𝑥 + 1)2(𝑥 − 4)
2
3 𝑓(𝑥) = 2𝑥2− 𝑒
4 𝑓(𝑥) = 𝑥 + 2 −
0,5𝑥
√
3
13 𝑓(𝑥) = (1 −4𝑥)2+ 𝑒
5
𝑥
14 𝑓(𝑥) = −𝑒−𝑥ln(𝑥)
5 𝑓(𝑥) = 𝑒−𝑥cos(𝑥) 15 𝑓 (𝑥) = (𝑥 − 1)6+ 𝑥
6 𝑓(𝑥) = 4𝑥 sin 𝑥 16 𝑓 (𝑥) = (𝑥 − 3)√𝑥
7 𝑓(𝑥) = −2𝑒
8 𝑓(𝑥) = 𝑥 − 2𝑒
−2𝑥
ln(2𝑥) 17 𝑓(𝑥) = sin 𝑥 + cos 𝑥
2𝑥
18 𝑓(𝑥) = 𝑥5+ 𝑥4− (𝑥3/3) + 2
9 𝑓 (𝑥) = 4𝑥(𝑥2+ 4) 19 𝑓 (𝑥) = 16𝑥(𝑥 − 1)
10 𝑓 (𝑥) = 𝑥/ ln(𝑥) 20 𝑓 (𝑥) = 𝑥2/2 + 8/𝑥
2𝑥
0,3𝑥
3
2
2
159
Задача 2. Многомерная оптимизация, задачи без ограничений.
2.1. Найдите оптимумы функции 𝑓 (𝑥, 𝑦) = 𝑒
Вариант 𝑎 𝑏 Вариант 𝑎 𝑏
1 1 2 11 9 1
2 7 3 12 3 5
3 1 4 13 3 1
4 8 5 14 7 2
5 1 6 15 3 6
6 8 3 16 4 1
7 2 4 17 6 7
8 2 5 18 4 3
9 7 6 19 1 5
10 2 7 20 5 6
−(𝑥2+𝑦2)
(𝑎𝑥2+ 𝑏𝑦2).
2.2. Найдите оптимумы функции 𝑓 (𝑥, 𝑦) =
Вариант 𝑎 𝑏 𝑐 Вариант 𝑎 𝑏 𝑐
1 4 -1 2 11 -2 4 1
2 4 2 -1 12 4 -2 -1
3 1 2 4 13 6 1 6
4 3 1 2 14 6 1 -6
5 3 -1 -2 15 4 6 -1
6 1 3 -4 16 2 3 3
7 -1 3 4 17 3 1 4
8 2 5 2 18 6 -1 -2
9 1 3 -3 19 1 5 4
10 2 1 3 20 1 -1 -4
𝑎𝑥 + 𝑏𝑦 + 𝑐
𝑥2+ 𝑦2+ 1
.
160
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]