Современные проблемы прикладной математики. Часть 2. Практикум

где η - вектор ошибки, вычисляемый с помощью нормального датчика случайных чисел для двух случаев:

а) ошибки не коррелированны. Значения СКО задать равными σηi = δi fi , i =1,..., N ; δi = 0.01,0.05,0.01.

Матрица ковариации в этом случае будет диагональной

Vη = diag (σ2η1 ...,σ2ηN ) .

б) ошибки коррелированны. В этом случае вектор ошибок вычисляется по формуле η =Vη1/2ξ, где Vη - заданная

матрица ковариации; ξ - вектор, проекции которого

состоят из нормальных случайных величин с единичной дисперсией и нулевым средним.

4. Вычислить решение по формуле (2.10) и вектор ошибки (2.24).

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи.

§2.3. Построение регуляризованного решения при неполной информации

В ситуациях, когда отсутствует априорная информация о числовых характеристиках решения и шума, сглаживающий функционал имеет вид

В этом случае вектор ϕα , доставляющий минимум функционалу (2.25), является решением системы

(KTWf K +αWϕ )ϕα = KTWf fɶ + αWϕωϕ , (2.26)

состоящей из M уравнений относительно M неизвестных.

Здесь α > 0 параметр регуляризации, ωϕ - пробное решение. Параметр регуляризации является неизвестной величиной.

Метод рандомизации. Допустим, что априори известно о принадлежности искомого решения ϕ гиперпрямоугольнику,

определяемому неравенствами

являющимися детерминированными ограничениями. Метод рандомизации позволяет интерпретировать детерминированные ограничения в терминах числовых характеристик некоторых вероятностных распределений (чаще всего нормального

распределения). Первые два момента mϕ , Vϕ нормального

распределения N (mϕ ,Vϕ ) определяется таким образом, чтобы

случайный вектор, подчиняющийся этому распределению с вероятностью β попадал в гиперпрямоугольник (2.27).

Математическое ожидание mϕ такого вектора определяется как

а корреляционная матрица Vϕ является диагональной и вычисляется по формуле

то вновь обращаемся к методу рандомизации и вычисляем

и используем ее в алгоритме (2.30).

Очевидно, что (2.30) является частным случаем системы (2.26) при следующих заменах:

которую назовем стабилизирующим функционалом. Неотрицательно определенная матрица Wϕ находится из

условия: чем «глаже» вектор ϕ , тем меньшее значение принимает функционал (34). Исходя из этого условия, часто матрицу Vϕ формируют как

23

где Dp – матрица, являющаяся дискретным аналогом оператора

Если решение ищется на множестве векторов с ограниченной нормой, для которых отсутствует взаимосвязь между «соседними» проекциями, то целесообразно использовать единичную матрицу либо диагональную матрицу вида (2.29), в

этом случае Wϕ =Vϕ−1 и это будет соответствовать регуляризации нулевого порядка.

Вернемся к вектору ωϕ , входящему в функционал (2.25) и названному «пробным» решением. При наличии априорной

информации вида (2.27) его можно задать как ωϕ = mϕ , где mϕ определяется выражением (2.28). При отсутствии такой информации традиционным заданием является ωϕ = 0M .

Матрицу Wf рекомендуется задавать с точностью до константы равной обратной матрицы Vη−1 , т.е.

24

где константа Cf > 0 . При наличии информации вида (31) матрицу Vη можно определить соотношением (2.32). При

отсутствии информации о числовых характеристик погрешностей ηi матрицу Wf можно задать диагональной.

Ненулевые элементы такой матрицы интерпретируются как

весовые множители, определяющие значимость (или информативность) соответствующих проекций вектора правой

части fɶ .

В предельном случае (соответствующем отсутствию информации об искомом решении и шуме измерения) матрицы Wf и Wϕ задаются единичными, т.е.

Ошибка решения ϕα .

Определим ошибку решения ϕα , определяемым вектором (2.26)

εα = ϕα −ϕ + ,

где ϕ + – нормальное псевдорешение системы Kϕ = f при точной правой части f , т.е. ϕ+ = (KTWf K)−1 KTWf f . Как и

Систематическая ошибка bα имеет вид

bα = α (KTWf K + αWϕ )−1 Wϕ (ωϕ − ϕ + ).(2.39)

Вектор

является случайным вектором с нулевым средним и определяется выражением

Задание 2.3.

1. Задать матрицу системы K , вектор решения ϕ , ограничения на вектор ϕ вида (2.27).

правую часть f .

4. Внести шум в правую часть, т.е. вычислить вектор

f = f + η,

где η - вектор ошибки, вычисляемый с помощью нормального датчика случайных чисел для двух случаев:

а) ошибки не коррелированны. Значения СКО задать равными σηi = δi fi , i =1,...,N ; δi = 0.01,0.05,0.01.

Матрица ковариации в этом случае будет диагональной

Vη = diag (σ2η1 ...,σ2ηN ) .

б) ошибки коррелированны. В этом случае вектор ошибок вычисляется по формуле η =Vη1/2ξ, где Vη - заданная

матрица ковариации; ξ - вектор, проекции которого

состоят из нормальных случайных величин с единичной дисперсией и нулевым средним.

5. Задать ограничения на вектор f вида (2.31) и вычислить

матрицу V η по формуле (2.32).

6. Вычислить решение системы (2.26) и погрешность по формуле

(2.43) для следующих вариантов:

а) Wf = I, Wϕ = I, ωϕ = 0, для различных значений

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи.

§2.4. Регуляризирующий SVD-алгоритм

Обратимся к системе уравнений (2.26) и вычислим решение этой системы, используя сингулярное разложение.

Предположим, что матрица Wf неотрицательно определена, симметрична и допускает представление

непосредственно следует матричное представление решения ϕα :

диагональная матрица размера p × p следующей структуры:

Точность решения оценим как и ранее вектором

εα = ϕα − ϕ+ , который можно представить как

εα = ξα + bα .

Тогда полная погрешность вычисляется по формуле

Задание 2.4.

1.Задать матрицу системы K , вектор решения ϕ .

2.Для заданной матрицы K и вектора решения ϕ вычислить

правую часть f .

3 Внести шум в правую часть, т.е. вычислить вектор

f = f + η,

где η - вектор ошибки, вычисляемый с помощью нормального датчика случайных чисел для двух случаев:

а) ошибки не коррелированны. Значения СКО задать равными σηi = δi fi , i = 1,..., N ; δi = 0.01,0.05,0.01.

Матрица ковариации в этом случае будет диагональной

Vη = diag (σ2η1 ...,σ2ηN ) .

б) ошибки коррелированны. В этом случае вектор ошибок вычисляется по формуле η =Vη1/2ξ, где Vη - заданная

матрица ковариации; ξ - вектор, проекции которого

состоят из нормальных случайных величин с единичной дисперсией и нулевым средним.

4. Задать ограничения на вектор f вида (2.31) и вычислить

матрицу V η по формуле (2.32).

5. Представить матрицу ковариации ошибок V η в форме

6. Вычислить решение системы по формуле (2.48) и погрешность

αk = αk−1 10. Значения параметра γ выбрать эмпирически.

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи.

Практическое занятие №3

Алгоритмы выбора параметра регуляризации

§3.1. Выбор параметра регуляризации на основе критерия оптимальности

Рассмотрим систему уравнений

(регуляризация первого порядка).

Рассмотрим вектор невязки eα = f − Kϕα = E (α ) fɶ ,

где Vfɶ - матрица ковариации вектора правой части

Vf = M[ f f T ].

Вкачестве αopt возьмем такое значение αW , при котором принимается основная статистическая гипотеза:

Подставляя (3.4) в (3.7), получим

ρW (α ) = fɶT Vη−1eα или

ρW (α ) = fɶT (Vη +α −1KWϕ−1KT )−1 fɶ . (3.8) Введем параметр γ =1/α. Тогда выражение (3.9) примет вид

распределению с N степенями свободы. Тогда проверка гипотезы (3.6) сводится к проверке предположения: подчиняется

ли величина ρW (γ ) χ2 -распределению с N степенями свободы.

Для этого построим интервал

то гипотеза (3.6) может быть принята с вероятностью ошибки первого рода, равной β . Следовательно, значение αW , при

котором выполняется (3.11), является оценкой для αopt .

с начальным значением γ (0) 10−15 . В качестве γW принимается значение γ (n) , удовлетворяющее (3.12). Заметим, что эта процедура решает нелинейное уравнение ρW (γ ) = N , но момент

останова определяется условием (3.12).

Замечание. Для вычисления статистики (3.9) необходимо вычислять обратную матрицу (Vη + γ KWϕ−1KT )−1 , что приводит к увеличению трудоемкости вычислений. Чтобы этого избежать, запишем статистику ρW (γ ) в форме ρW (γ ) = f T qγ , где вектор qγ является решением системы

В формуле (3.14) используется производная ρW′ (γ ) , равная

ρW′ (γ ) = f T qγ′ , где вектор qγ′ является решением системы уравнений

(Vη + γ KWϕ−1KT ) (KWϕ−1KT )−1 q′ = −qγ . (3.15).

Задание 3.1.

Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 2.3 в работе №2) вычислить:

1)параметр регуляризации αW ;

2)регуляризованное решение ϕαW ;

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи

§3.2. Алгоритм выбора параметра регуляризации с использованием SVD-разложения на основе критерия оптимальности

допуская при этом, что сингулярные числа λj упорядочены по убыванию, т.е. λj ≥ λj+1 и λj = 0, j = p +1,...,M , где p – ранг

(или практический ранг) матрицы системы;

• регуляризированное решение ϕα представимо в виде:

где m(λ) невозрастающая функция m(λ ) = λ1τ , где τ ≥ 0.

Нетрудно показать, что вектор ϕα является системы

(KT Cη−1K +αWϕ )ϕα = KT Cη−1 fɶ ,

вкоторой матрица Wϕ выражается соотношением:

Wϕ = Vp diag{m(λ1 ),m(λ2 ),...,m(λM )}VpT ,

где Vp – матрица размера M × p , составленная из столбцов матрицы V , входящей в разложение (3.16). Теперь статистику ρW (α ) можно записать в виде

решением

(3.18)

p первых

(3.19)

(3.20)

(3.21)

(3.22)

(3.23)

с начальным значением γ (0) 10−15 . В качестве γW принимается значение γ (n) , удовлетворяющее условию

Задание 3.2.

Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 2.4 в работе №2) используя SVD-разложение, вычислить:

1)параметр регуляризации αW ;

2)регуляризованное решение ϕαW ;

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи

§3.3. Алгоритм выбора параметра регуляризации основе статистического принципа невязки

Для вычисления значения αV проверяется статическая гипотеза

Для проверки (3.27) введем статистику ρV (α) = eαTVη−1eα .

Здесь - вектор невязки. Учитывая, что ϕα = (KTVη−1K + αWϕ )−1 KTVη−1 fɶ , получим: