5ый семестр / 8. Системный анализ (complete)_1 / SA / не мое / ТС и СА_гр.447_2019 / Учебные пособия / СЕРГЕЕВ_МАКЕТ

A = R'DR = [R'D1/ 2 ][D1/ 2 R], A1/ 2 = D1/ 2 R ,

x'y – якобиан (функциональный определитель).

2.5. Стационарные точки:

скалярная функция с

∂c = 0 , минимум, если

∂x x=x

Теорема Кэли–Гамильтона: если A − n ×n – матрица, то любой полином или сходящийся степенной ряд от А может быть записан в виде линейной комбинации An−1 ,…, A,I . Например, если А – квадратная матрица порядка 3, то

eAt =α0I +α1A +α2 A2 .

Неравенство Шварца (схема доказательства):

[Ax + By]'[Ax + By] ≥ 0,

x' A' Ax + x' A'By + y'B' Ax + y'B'By ≥ 0,

[C1/ 2 x + C−1/ 2 Dy]'[C1/ 2 x + C−1/ 2 Dy] + y'[E − D'C−1D]y ≥ 0

= 0, если выбрать x = −C−1Dy .

Следовательно,

y'[E − D'C−1D]y ≥ 0 при всех y , т. е.

E − D'C−1D ≥ 0 ,

B'B ≥ [B' A][A' A]−1[A'B].

Списоклитературы

1.Гантмахер Ф.Р. Теория матриц. – М.: «Наука», 1967.

2.Беллман Р. Введение в теорию матриц. – М.: Наука, 1976. – 351 с.

3.Ланкастер П. Теория матриц. – М.: Наука, 1978. – 280 с.

161

ПРИЛОЖЕНИЕ2

ПРАКТИЧЕСКИЕ МЕТОДЫОПТИМИЗАЦИИФУНКЦИЙ

Рассматривают некоторую вещественную непрерывную функцию f (x) от n переменных x1, x2 ,...xn в замкнутой области D n-мерного простран-

ства. Задача заключается в определении минимального значения функции Φ(x) в области D и точки ν , в которой это значение достигается. В общем

случае это трудная задача и не все методы ее решения совершенны с вычислительной точки зрения. Потребность решения задач минимизации определяется широким кругом их приложений.

Обычно различают задачи безусловной минимизации, когда множество ограничений (область D) совпадает со всем пространством, т. е. ограничения отсутствуют, и задачи условной минимизации – в противном случае. Как правило, последние сводятся к первым на основе различных приемов типа методов множителей Лагранжа, штрафов и др. [1]. Здесь рассмотрим только задачи безусловной минимизации. Обычно их решают на основе различных методов спуска.

Основная идея этих методов такова. Выбирают некоторое начальное приближение x0 , направление l0 = (l10 ,l20 ,...,ln0 ) , не касательное к поверхности

Φ(x) = Φ(x0 ) (такое направление называют допустимым), и минимизируют скалярную функцию ϕ0 (α) =ϕ(α, x0 ,l 0 ) = Φ(x0 +αl 0 ) параметра α .

Пусть α0 – точка минимума этой функции. Полагают x1 = x0 +α0l0 , выбирают новое допустимое направление спуска l1 и минимизируют функцию

ϕ1 (α) = Φ(x1 +αl1 ) и т. д.

Вцелом любой метод спуска заключается в следующих действиях:

1)выбор в точке xr допустимого направления l r с целью сведения исходной задачи к задаче одномерной минимизации;

2) определение шага спуска αr из условия минимума функции

ϕr (α) = Φ(xr +αl r ) ;

3)определение очередного приближения xr+1 по формуле

xr+1 = xr +αr l r .

Обычно добиваются, чтобы последовательность Φ0 = Φ(x0 ) , Φ1 = Φ(x1 ) и

т. д. монотонно убывала, а точки x0 , x1 ,... сходились к точке минимума ν функции Φ(x) (быть может локального). При этом основная задача – это

минимизация функции одного переменного. Часто ее необходимо решать лишь приближенно путем достижения некоторого смещения в сторону минимума вспомогательной функции и перехода затем к минимизации в другом направлении.

162

Методытипаспуска

1. Метод наискорейшего (градиентного) спуска. Если известно при-

ближение xr , то вычисляют градиент в этой точке gradΦ(xr ) = (∂Φ(xr ) / ∂x1 ,...,∂Φ(xr ) / ∂xn ).

Тогда направление спуска l r = −gradΦ(xr ). Следующее приближение определяют согласно формуле

xr+1 = xr −αr gradΦ(xr ),

где αr выбирают из условия минимума функции ϕr (α) = Φ(xr −αgradΦ(xr )) по

α . Если начальное приближение x0 выбрано достаточно хорошо и в окрестности искомого минимума ν нет других (локальных) минимумов функции Φ(x) , то последовательность xr обычно сходится к ν . При этом на каждом шаге движемся в направлении наибыстрейшего убывания функции Φ(x) . Ес-

ли линии уровня в окрестности искомой точки минимума ν представляют слабо деформированные сферы, то метод наискорейшего спуска быстро дает хорошее приближение, в противном случае метод будет сходиться достаточно медленно, т. е. требуется большое число арифметических операций для достижения требуемой точности. Метод асимптотически имеет геометрическую скорость сходимости.

2. Метод сопряженных градиентов. В этом методе последовательные направления спуска выбирают согласно формулам:

l r = −gradΦ(xr ) + βr−1l r−1, r =1,2,...,l0 = −gradΦ(x0 ) ,

где

βr−1 = gradΦ(xr ) 2 /gradΦ(xr−1 ) 2 ,

т. е. направление антиградиента минимизируемой функции в точке xr определенным образом комбинируется с предыдущим направлением спуска. Шаг спуска αr выбирают, как обычно, из условия минимума функции ϕr (α) по α .

Как отмечено в § 16, для квадратичных функций Φ(x) = (Ax, x) −2(b, x) метод

сопряженных градиентов дает точное решение за конечное число шагов. Можно ожидать, что при хорошей аппроксимации функции Φ(x) в окрестно-

сти искомого минимума квадратичной функцией метод сопряженных градиентов быстро даст хорошие приближения. Поэтому его применяют, как правило, на стадии завершения поиска минимума, используя вначале более грубые методы спуска (покоординатный и градиентный).

Для реализации метода сопряженных градиентов, как и метода наискорейшего спуска, требуется вычисление градиента функции Φ(x) , что не все-

гда оказывается простой задачей. Часто вычисляют приближение к градиенту на базе замены производных разностными отношениями.

Существует модификация данного метода, когда на каждом шаге надо проводить не одномерную минимизацию, а двумерную, т. е. приближение

xr+1 = xr +α− r gradΦ(xr ) + β− r (xr − xr−1 ) ,

163

где параметры α− r, β− r определяют из условия минимума функции

Φ[xr + α− gradΦ(xr )+−β(xr − xr−1 ) по α− , β− .

Сформулированный метод полностью совпадает с методом сопряженных градиентов для квадратичных функций и обладает аналогичными свойствами.

Метод сопряженных градиентов имеет несколько меньшую скорость сходимости, чем касательных Ньютона.

3.Метод Ньютона. Задачу поиска безусловного экстремума функции Φ(x) можно свести к задаче нахождения корня уравнения gradΦ(x) = 0 , кото-

l r = −[Φ''(xr )]−1 gradΦ(xr ) , шаг спуска αr определяют как обычно.

Если функция Φ(x) = (Ax, x) −2(b, x) с положительно определенной матри-

цей А порядка n, то метод Ньютона на первом шаге дает решение задачи. В общем случае скорость его сходимости – квадратичная. Метод Ньютона может быть успешно применен для уточнения точки минимума функций, хорошо аппроксимируемых положительно определенными квадратичными функциями. На начальной стадии поиска минимума метод, как правило, сходится медленно и если начальное приближение x0 выбрано неудачно, то даже расходится. Поэтому применение метода Ньютона требует достаточно сложных алгоритмов выбора шага и вычисления вторых частных производных функций Φ(x) .

3.1. Квазиньютоновский метод (метод переменной метрики) – более эффективный метод минимизации. Направление спуска в методе l r = −Ηr gradΦ(xr ) , где Ηr – квадратная матрица порядка n, определяемая из рекуррентных соотношений

Если функция Φ(x) – положительно определенная квадратичная функ-

ция, то квазиньютоновкий метод, как и метод сопряженных градиентов, дает точное решение не более чем за n шагов. В случае произвольной функции Φ(x) квазиньютоновский метод асимптотически обладает свойствами обоб-

щенного метода Ньютона, так как матрицы Ηr при больших r аппроксими-

164

руют матрицу Φ''(x) в точке минимума ν . Этим фактом объясняется назва-

ние метода. Его преимущество перед методом Ньютона – отсутствие необходимости вычисления гессиана, т. е. матрицы вторых производных.

В настоящее время существует значительное число модификаций метода

[1, 12].

4. Метод Гаусса–Ньютон. Метод Гаусса–Ньютона используется для минимизации суммы квадратов отклонений

n

Φα = ∑( yi − f (xi ,α)2 ,

i=1

где f (x,α) – нелинейная по параметрам α функция регрессии.

Суть метода Гаусса–Ньютона состоит в том, что функция регрессии аппроксимируется линейной по параметрам функцией в окрестности точки α0:

Индекс «0» у частных производных означает, что они вычислены в точке α =α0 . С учетом данного приближения функции регрессии функционал качества Φα можно представить в виде:

α Φα0 = −2D0T α(e0 − D0 α0 ) = 0 .

В результате получим систему линейных уравнений

(DT D)0 α0 = (DT e)0 ,

решение которой позволяет получить следующее приближение для параметров

α1 =α0 + h0 α0 .

Получив α', можно аналогичным образом построить x2 = x'+h1 α' , где h1 – размер шага на второй итерации.

165

5. Метод оврагов. Этот метод применяют в ситуациях, когда линии уровня минимизируемой функции сильно отличаются от сфер и спуск по градиенту происходит медленно. Основная идея метода состоит в следующем. Задаются приближениями x0 и x1 и проводят спуск из этих точек каким-либо методом – покоординатного спуска, градиентным и т. п. Обычно делают несколько шагов и получают новые приближения Χ0 и Χ1 , которые, как правило, лежат в многообразии, содержащем относительно большие оси «эллипсоидов» – поверхностей уровня функции Φ(x) . Из точки Χ1 производят спуск

в направлении L0 , определяемом вектором Χ1 − Χ0 , и получают приближение x2 .

xr+1 = X r +αr (X r − X r−1 ) + βr gradΦ(X r ) ,

в которой αr и βr определяют из условия

min Φ[X r +α(X r − X r−1 ) + βgradΦ(X r )].

α,β

Метод оврагов «работает» в ряде случаев, когда линии уровня функции

Φ(x) имеют сложную структуру и другие методы неэффективны.

6.Метод регуляризации. Задача минимизации часто оказывается плохо обусловленной в том смысле, что для некоторой точки xr значение Φ(xr ) мо-

жет быть достаточно близким к минимальному Φ(ν) , однако точку xr нельзя принять за хорошее приближение к точке минимума v. При наличии погреш-

166

ностей в задании функции Φ(x) даже вычисленные значения Φ(xr ) могут не быть близкими к Φ(ν) . В таких случаях применяют метод регуляризации за-

дачи минимизации.

Пусть для определенности Φ(x) ≥ 0 . Обычно выбирают некоторую квадратичную функцию

Ω(x − X ) = 12 (x − X )'C(x − X )

с положительно определенной матрицей С и рассматривают регуляризованную задачу минимизации: найти точку xα , в которой достигается минималь-

ное значение функции

Φα (x) = Φ(x) +αΩ(x − X ), α > 0 .

Здесь Х – вектор пробного решения, задаваемый из априорных соображений относительно искомой точки минимума v; α – параметр регуляризации; Ω( y) – стабилизирующая функция. Если выбрать X = v, то все регуляризо-

ванные решения xα ≡ν , α > 0 . Обычно X ≈ν , поэтому можно ожидать, что при некотором значении параметра регуляризации xα ≈ν . Можно показать,

что lim xα =ν [считается, что v – единственная точка минимума функции

α→0

Φ(x) ].

Регуляризованная задача минимизации (р. з. м.) при больших значениях α обусловлена значительно лучше, чем исходная. Причиной этого является

следующее: lim xα = X , а вектор Х очевидно минимизирует функцию

α→∞

Ω(x − X ) . Таким образом, при больших значениях α р. з. м. можно заменить задачей минимизации функции Ω(x − X ) . Отсюда вытекает тактика компро-

миссного выбора параметра регуляризации: параметр регуляризации (п. р.) должен быть достаточно мал, чтобы регуляризованные решения (р. р.) аппроксимировали искомое, но не настолько, чтобы потерялась устойчивость задачи.

При численном решении регуляризованная задача минимизации обычно задают последовательность значений α0 >α1 >... >αM , где α0 ,αM – соответст-

венно достаточно большое и достаточно малое числа. Для определения регуляризованных решений xα используют один из методов спуска, который счи-

таем выбранным. Чтобы определить приближение к xα0 , в качестве начально-

го приближения выбирают Х, которое затем уточняют на основе выбранного метода спуска. Полученное приближение к xα0 обозначим xα0 . Пусть на осно-

ве этой процедуры уже определены приближения xαi ≈ xαi. Тогда в качестве начального приближения при отыскании xαi+1 берут xαi , которое затем уточ-

няют. Приближение к искомому решению находят среди полученной серии приближенных р. р. xα0 , xα1, ..., xαM , исходя из приведенных ранее соображе-

ний. При получении этих решений нет необходимости делать много уточ-

167

няющих итераций, так как рассматриваемое значение параметра регуляризации может быть далеко от искомого. Как только подходящее значение п.р. выбрано, процедуру можно повторить, взяв более густую сетку по α в окрестности выбранного значения, и т. д.

Удобно задавать геометрическую сетку по α :αi+1 = qαi ,i = 0,1,...,M −1, определяемую начальным значением α0 и знаменателем сетки q ≈1. В этом слу-

чае подходящие приближенные решения определяют из принципа выбора ква-

зиоптимальных значений параметра регуляризации, при которых достигается минимальное значение уклонений xαi+1 − xαi по i для некоторой нормы • .

Процедура выбора параметра регуляризации трудно формализуема, однако решение значительного числа модельных и практических задач показало эффективность применения метода регуляризации. В частности, можно привлекать и некоторые неформальные соображения, основанные на априорном представлении о качественных характеристиках поведения модели. В этих случаях весьма эффективным оказывается использование при решении на ЭВМ таких наглядных средств представления дискретной информации, как АЦПУ, графопостроители, дисплеи и т. п.

Выбор стабилизирующей функции Ω(x − X ) можно осуществить и в других формах. Часто Ω(x − X ) характеризует «стоимость» отклонения парамет-

ров х новой модели от параметров Х, описывающих старую модель. Метод регуляризации позволяет найти такое решение задачи минимизации, которое обладает минимальной «стоимостью» в смысле выбранного критерия Ω(x − X ) . Иногда вектор Х – результат прямых (непосредственных) измере-

ний искомого параметра х.

Метод регуляризации успешно применяют и для решения еще одной трудной задачи минимизации – нахождения глобального минимума. Это связано с тем, что при больших значениях параметра регуляризованная задача чувствительна только к глобальному минимуму, локальные минимумы нивелируются.

Если для минимизации Φα (x) выбран метод Ньютона, то последователь-

ные итерации

xr+1 = xr −[αC +Φ''(xr )]−1[Φ'(xr ) +αC(xr − X )]

определяют регуляризованный метод Ньютона. При этом требуется, чтобы матрицы Φ''(xr ) были неотрицательными.

Часто, особенно в задачах аппроксимации, функция

m

Φ(x) = ∑ fi 2 (x) .

i=1

Если функции fi (x) дифференцируемы, то справедливо линеаризованное представление (x ≈ y) :

fi (x) ≈ fi ( y) +∑n ∂f∂i ( y)(x j − y j ),

j=1 x j

168

так что

в окрестности точки xr . Отсюда можно приближенно определить как Φ'(x), так и Φ''(x) . При этом матрица Φ''(x) будет заведомо неотрицательной.

Если при определении xα j +1 заменить в регуляризованном функционале вектор Х на предыдущее приближение xα j , то получим адаптивный метод

регуляризации задачи минимизации. Иногда он может оказаться более предпочтительным, так как область подходящих значений параметра регуляризации в этом случае существенно шире.

Списоклитературы

1.Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике. В 2-х кн. / пер. с англ. – М.: Мир, 1986.

2.Мину М. Математическое программирование. Теория и алгоритмы. –

М.: Наука, 1990.

3.Рубан А.И. Оптимизация систем: учебное пособие. – Томск: Изд-во Томск, ун-та, 1984.

4.Дэннис. Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений / пер. с англ. – М.: Мир, 1988.

5.Карманов В.Г. Математическое программирование: учебное пособие. –

М.: Наука, 1989.

6.Химмельблау Д. Прикладное нелинейное программирование. – М.:

Мир, 1991.

7.Аоки М. Введение в методы оптимизации. – М.: Наука, 1988.

8.Полак Э. Численные методы оптимизации. Единый подход. – М.: Мир,

1994.

9.Уайлд Д.Дж. Методы поиска оптимума. – М.: Наука, 1997.

10.Габбасов Р., Кириллова Ф.М. Методы оптимизации. – Минск: Изд-во БГУ, 1988.

11.Бахвалов Н.С. Численные методы. – М.: Наука, 1989.

12.Гилл Ф. и др. Практическая оптимизация. – М.: Мир, 1992.

13.Коршунов Ю.М. Математические основы кибернетики: учебное пособие для втузов. – М.: Энергоатомиздат, 1987.

14.Боглаев Ю.П. Вычислительная математика и программирование: учебное пособие для студентов втузов. – М.: Наука, 1989.

15.Рубан А.И. Методы оптимизации: учебное пособие. – Изд. 2-ое, испр.

идопол. – Красноярск: Изд-во НИИ ИПУ, 2001.

16.Мицель А.А., Шелестов А.А. Методы оптимизации: учебное пособие. –

Томск, 2002. – 192 с.

169

ПРИЛОЖЕНИЕ3

КЛАССИЧЕСКИЕ МЕТОДЫИДЕНТИФИКАЦИИ СИСТЕМ ВУСЛОВИЯХНЕПОЛНОЙИНФОРМАЦИИ

Введение

Вданном приложении рассматриваются стабильные классические методы идентификации систем в условиях неполной информации. При обычной постановке задач идентификации предполагается, что в распоряжении исследователя имеется весьма полная информация. Так, считаются известными (с точностью до параметров) законы распределения помех, априорная плотность распределения вероятности решения, уравнения модели. Однако в реальных условиях подобная информация, как правило, неточна – распределения лишь приближенно можно считать заданными, фактическое поведение объекта не адекватно его модели и т. п. В этой ситуации весьма остро встает вопрос о стабильности методов идентификации, принимаемых решений и важное значения приобретают методы решения статистических задач, которые бы эффективно работали при неполной исходной информации.

Вприложении приведен обзор наиболее используемых стабильных методов идентификации, связанных с методами оценивания параметров функций регрессии при решении широкого спектра различных научнотехнических задач.

Постановказадачиидентификациипараметровфункций

Пусть имеется модель статического стохастического объекта вида y = f (x,α) +ξ,

где х – входные величины; α- параметры объекта; y – выходные величины; ξ – помехи. Здесь y R1 , ξ R1 , x Rm , α Rm . Требуется по измерениям

yi* ,xi , i =1,n :

оценить параметры α. При этом предполагается, что помехи ξi независимы и имеют одинаковую симметричную плотность p(z), т. е. p(z) = p(−z). В даль-

нейшем будут сделаны те или иные предположения о доступной информации относительно p(z) и решении α.

Методымаксимальногоправдоподобияинаименьшихквадратов

Предположим, что плотность p(z) известна, а априорная информация о

решении полностью отсутствует. Одним из наиболее распространенных методов оценивания в этой ситуации является метод максимального правдоподобия [1], который в данном случае принимает вид

170