книги / Математические методы в системах поддержки принятия решений

1 ,n h — совокупность векторов признаков /-го класса об­

разов.

При последовательном подходе такую статистику запишем через апостериорное распределение P(fv | со„ А) признака/, для образа со после получения выборки наблюдений X — (х,, х2.....х,)

^ ( /|с о ,Д )/)((о<|АГ)

/ (X ) = £ P (fv|ш( ,Х )Р(т, IX ) In

/=1

Из физических соображений упорядочение и отбор информативных признаков осуществим путем минимизации На или максимизации J,(X). Процедура упорядочения признаков по критерию minН,х заключается в

максимальном снижении размерности выборки на этапе предваритель­ ной обработки образов при условии сохранения их разделимости (неперекрытия) как альтернативных гипотез, а сущность процедуры упорядо­ чения по критерию JV(X) заключается в выборе такого признака для п + 1-го наблюдения — измерения, который обеспечивает наибольшее значение /„(X) на множестве {v} = 1, г и наискорейшее завершение по­

следовательного процесса классификации образов. Имеются другие подходы упорядочения и отбора признаков, они содержатся, например, в [82; 101; 102; 103].

Очевидно, что для реализации названных подходов необходимо иметь конкретный вид используемых в статистиках HiXи JV(X) рас­ пределений;__Так, пусть в статистике На каждое распределение />(Л|со,), / = 1, т, есть нормальное N{Mh К ), где Mh Kt — вектор матема­

тического ожидания и ковариационная матрица соответственно. Тогда задача упорядочения сводится к определению ортогонального операто­ ра линейного преобразования Аь с помощью которого будет осуществ­

лено снижение размерности признакового пространства, т.е. размерно­ сти вектора X, и будет получен вектор Y = А Х меньшей размерности, чем размерность вектора X; при этом

ив результате минимизации энтропии

Н1У =-|лТ|ю ,)1пДГ|ш ,)</Г

находится оператор А„ составленный из нормированных собственных векторов, соответствующих наибольшим собственным (характеристиче­ ским) числам ковариационной матрицы К/. Приходим к следующей

структуре алгоритма упорядочения и отбора признаков.

Ал г о р и т м

1.Задать обучающую исходную выборку признаков

представляющую отдельные классы (0|, СО2, (от и образы j = 1, л, (объекты), входящие в каждый класс ю,-, / = 1, т. Размерность вектора XiJt i = 1, /и, j = 1, w„ подлежит снижению при выполнении условия разделимости классов.

2.Вычислить оценки

3.Решить задачу на собственные значения

Kfe = Хе,

где X — собственное значение; е — собственный вектор.

4.Упорядочить собственные значения по убыванию.

5.Для каждого собственного значения (числа) вычислить собственный вектор из ре­ шения задачи вида

(К(-Ху1')е = 0,

где Ij — единичная матрица; v — индекс собственного значения матрицы Kh / = 1, /я. 6. Пронормировать собственные векторы. ___

7.Из собственных векторов сформировать варианты оператора Ль / = 1, /л, матрицы преобразования исходных векторов Ху к вектору Yy меньшей размерности.

8.Вычислить векторы Yy = AjXy для различных вариантов задания At и выявить те из них с минимальной размерностью, при которых проявляется эффект кластеризации обра­ зов, входящих в один и тот же класс, и сохраняется разделение классов.

Задача. Рассмотрим классы образов

(о,: {х,„ дс12, х 13, хм, Jt15( и <о,: {х2,, х22, х23, х24, х25>.

Требуется понизить размерность пространства различительных признаков образов, когда они изначально описываются совокупностью признаков в двумерном пространстве в виде

*11 = (-5 ,-5 ), х,2 = (-5 ,-4 ), х13 = (-4 ,-5 ), х14 = (-5 ,-6 ), х,5 = (-6 ,-5 );

хп = (5,5), х22 = (5,6), х23 = (6,5), х24 = (5,4), х25 = (4,5).

Р е ш е н и е . Вычислим

282

Вычислим собственные значения для матриц /Tj и /Г2 и соответствующие им собственные векторы. Так как матрицы диагональные, то собственные значения равны диагональным элементам (и они в рассматриваемой задаче одинаковы), а собственные векторы

>21= 5, Г22 = 5, Ки = 6, Г24 = 5, JJJ = 4.

Отсюда непосредственно видно, что в пространстве признаков с пониженной размерно­ стью классы образов разделяются; аналогично и для оператора преобразования Л2 — е2.

8.4. Выбор решения в задаче стохастического управления марковской динамической системой

Текущее состояние марковской системы (процесса) будем описы­ вать стохастическим дифференциальным уравнением — уравнением со­ стояния

dz{t) = fit, z(t), u(t))dt + F{t, z(t), u(t))dm(t) +

+J c(t,z(t),u(0,d)v(dt,dd),

V

где fit, z(t), fit)), F(t, z(t), u(t)) — неслучайные функции сноса и диф­

фузии,

dcfit) — дифференциал винеровского случайного процесса (fit), u(t) — управляющее воздействие (функция, определенная в фазовом

пространстве £/),

z(t) — фазовая координата (функция, определенная в фазовом про­ странстве Z),

^fit,z(t),fit),t)v(dt,d $ ) = Afit) — приращение случайного процесса с

независимыми приращениями, изменение процесса fit) скачкообразно, приращение Afit) распределено согласно закону [104]

»(1 - цД/)8(Ay)+цА/JЛ(б)5(Ay - с(б))Л>,

ц = |тс(0)(/0, Л(д) = я(д)/ц, А/ — мало;

•О — случайная величина с известным законом распределения,

fit, z(t), fit), d) — функция, характеризующая скачкообразный слу­

чайный процесс с амплитудой скачков в зависимости от случайной ве­ личины О,

v(dt, d-d) — пуассоновская случайная мера с параметром fit).

В уравнении состояния гауссовская и пуассоновская составляющие независимы.

Уравнение наблюдения записывается в виде

fit) = z(t),

где x(t) — наблюдаемый процесс, т.е. имеет место полная обратная

связь.

В зависимости от того, как выборка x(f) измеренных (наблюден­ ных) данных связана с фазовым вектором z(f) управляемой системы

(процесса), рассмотрению обычно подлежат задачи выбора оптималь­ ного решения-управления u (t) е U при полной обратной связи, когда

вектор наблюдений однозначно совпадает с вектором фазовых коор­ динат и последний не подлежит оцениванию; при неполной обратной связи, когда вектор наблюдений представляется функцией вектора фа­ зовых координат; при стохастической обратной связи, когда вектор измерений есть аддитивная смесь функций фазовых координат и слу­ чайных возмущений винеровского типа, или при отсутствии обратной связи, когда измерения не выполняются и выбор решения-управления осуществляется только на основе априорных данных о динамике сис­ темы (процесса).

284

Рассмотрим решение задачи только при полной обратной связи, т.е. задачи выбора такого решения-управления u (t) е U, при котором до­

стигается минимальное значение условного риска

JI /о (T,z(x),zu (x)u(x))dx+0(T,z(D,zu(Г)) Zr

где f 0 — скалярная функция, характеризующая потери из-за отклонения

реального вектора z(x) от идеального (требуемого вектора г(т)) и из-за расходов на управление и(х) в каждый момент времени т е [t, 7] при фиксированном значении вектора фазовых координат z, на текущий мо­ мент t;

Ф — скалярная функция, характеризующая потери из-за ошибок в выборе управления в конечный момент времени Т,

U — допустимое множество управлений.

Итак, для марковской системы (процесса) оптимальное решениеуправление можно искать в виде функций от текущего вектора фазовых координат состояния системы

и(х) = и(х, z,, г(т)), т е [/, 7],

и эта функция выражает полную обратную связь.

Для вычисления оптимальной функции и°(т) Vxe [/,7], воспользу­ емся интуитивным принципом оптимальности Беллмана [53]: опти­ мальное поведение обладает тем свойством, что каковы бы ни были первоначальное состояние и решение в начальный момент, последую­ щие решения должны составлять оптимальное поведение относительно состояния, получающегося в результате первого решения. Из этого принципа следует, что выражение условного риска имеет вид

или, применив первую теорему о среднем значении для определенного интеграла, получаем

285

Ы

Воспользуемся теперь тем обстоятельством [105; 106], что по урав­ нению состояния марковской системы однозначно записывается урав­ нение для плотности вероятности ее перехода из одного состояния в другое, т.е. уравнение вида (для одномерной системы)

ЭуКг(т),т;г(т),/) _

+J Мх,г(т)+ c(x,z(x),W ,z(t)) - Мх,г(х);/,г(0)]yaP(b,x,z(x))d-d;

это уравнение называется обратным [107], (а~|лА0Далее полагаем, что существует предел левой части равенства (1) при At —» 0. Тогда опти­

мальное решение-управление и°( ) на всем отрезке [f,7] и соответствую­ щее минимальное значение критериального функционала найдем из дифференциального уравнения

J(z(T),T) = 4Kz(T),z„(7),7).

Вывод этого уравнения выполняется согласно стандартному приему, из­ ложенному, например, в [104; 105; 106].

Проиллюстрируем применение уравнения в з а д а ч е в ы б о р а оп­ тимального решения из открытого множества при полной обратной связи для одномерной линейной стохастической системы, т.е. системы, уравнение состояния которой имеет вид

dz(t) = (Az{t)+Bu(t)+adot(t)+ J c(d)v(<Mfl)),

где А, В, о и функции c(d), P(-&,t,z(t)) = Р(Ъ) не зависят от времени, фа­

зовой координаты и управления.

286

Критерий оптимальности решения примем в виде квадратичного функционала

/(«(0,0 = \]< P z4t)+ Du2 (t))d t+ ^E z2 (T),

где G, D, E — положительные константы. В этой задаче уравнение (2)

имеет вид

Воспользуемся классическим приемом отыскания экстремума не­ прерывно дифференцируемой функции, получим выражение для вы­ числения искомого управления

D dz

в котором неизвестен множитель — . Для вычисления — подставим выdz dz

ражение для и°(0 в уравнение (3) и найдем решение (3) с учетом гранич­ ного условия (4).

Искомое решение уравнения (3) можно, ориентируясь на терми­ нальный член 0,5z2(QE критерия, представить, например, в виде отрезка ряда по степеням z(t) до второй включительно с неизвестными коэффи­

циентами, зависящими только от времени, т.е.

При этом уравнение (3) сводится к системе обыкновенных дифферен­ циальных уравнений относительно неизвестных коэффициентов

¥ о (0 , V i(0 , У2('):

V o (7 ) = 0 ,

287

Гл ава д е в я т а я

Методы выбора решений при конфликте

Основное внимание уделим выбору решений при невыпуклых обобщенно дифференцируемых критериальных функциях, допускаю­ щих аппроксимацию локально выпуклыми функциями, и локальнолипшицевых критериальных функциях [109; 133], представляющих функции максимума (материал главы можно рассматривать как спе­ циальное дополнение к пятой главе). Выбор решений при выпуклых критериальных функциях составляет частный случай излагаемых здесь методов (такой выбор может быть осуществлен согласно методам, из­ ложенным в шестой главе).

Для функций одних из названных типов характерны введение поня­ тия обобщенного градиента и возможность поиска искомого решения согласно алгоритму субградиентного спуска. Для функций же других типов целесообразным является их аппроксимация сглаженными функ­ циями на основе рандомизации на допустимом множестве точек выпол­ нения шага по направлению поиска искомого решения и введения сто­ хастических конечных разностей [134] как аппроксимаций градиентов сглаженных функций, т.е. при локально-липшицевых критериальных функциях методы поиска искомого решения строятся без вычисления градиентов.

Определения. 1. Функция/ : R”—» R' называется обобщенно дифферен­ цируемой в точке х е К 1, если в некоторой окрестности этой точки опре­ делено полунепрерывное сверху отображение Gf, такое, что его значения G/y), у е R" являются непустыми ограниченными выпуклыми замкнутыми множествами и в окрестности точки х имеет место разложение

ЛУ) = А х) + (g, У ~ х) + о(х, у, g),

где g e G/y), (,) — скалярное произведение,

1Ь -*11

2. Функция называется локалъно-липшицевой, если для любого компак­ та К czRn существует константа Ьь такая, что

Л *')-Л *',) ^ ||х ' - х " || V x ^ ' e К.

289

9.1. Метод обобщенного градиента в безусловной негладкой локально-выпуклой задаче выбора решения

Изложенный в гл. 6 метод обобщенного градиента распространяется на безусловную задачу выбора решения путем локальной минимизации критерия Дх), x e R " , в виде невыпуклой негладкой обобщенно­

дифференцируемой функции.

Обозначим через X* = {х € Л"|0 е <7/х)} замкнутое множество ста­

ционарных точек локального минимума — локальных решений задачи

/(х )-> min,

x e R "

где Gf (x) — множество псевдоградиентов (обобщенных градиентов, субградиентов) функции Дх) в точке х , а через F* = {Дх)| х е Л*} обозна­

чим замкнутое множество значений критериальной функции, соответ­ ствующее множеству X*.

Приведем структуру итерационного алгоритма для реализации этого метода.

А л г о р и т м

1. Задать начальное приближение е Rn.

2.Вычислить обобщенное градиентное множество — выпуклое замыкание субгради­ ентного множества Gj(JC°).

3.Задать последовательность чисел рк , к - 0, 1, 2,...

чтобы соответствующая траектория х к не выходила из ограниченной области {х|Л*) ^ где d ^ c >J[x9) ё F*.

6. Проверить при каждом к условие останова процесса выбора искомого решения:

*е А *,Л х)бР,г<л

Приведенный алгоритм сходится; утверждение сходимости исходит из следующей теоремы [109;111].

Теорема. Если последовательность {х*}£=о пРи выбранной последова­

тельности {р*}, к = 0, 1, 2,..., достаточно малых шагов ограничена, то она сходится к решению х* е X* по функцииД х) е F*.

Отметим, что сходимость алгоритма — медленная, а согласно при­ нятым свойствам функции Дх), х е Rn , она будет носить локальный ха­

рактер и что здесь основу сходимости итерационных алгоритмов состав­ ляет второй метод Ляпунова [110]. Этот метод заключается во введении ф у н к ц и и Л я п у н о в а и исследовании ее значений на последова­ тельных итерациях алгоритма выбора искомого решения. Если такие

290