Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Цифровые методы диагностики и прогнозирования процессов. Учебное пособие
.pdf
mmm
j
g
g
j
bg
Lz λλ xx
(,,) () ( )
jjj
1
2
111
jj jj jj
t
.
Отметим, что в силу соблюдения ограничений задачи (4.10) и не-
отрицательности множителей Лагранжа в точке
(,,)b
z λ
выполняет-
ся неравенство
n
1
λ
() ( )
2
2
,
z
i
i
1
откуда следует и выполнение неравенства
n
gz
1
λ .
() ( )
2
*2
i
1
i
Из условий дополняющей нежесткости следует, что в точке
***
(,, )bz λ справедливо равенство
*** *2 * * * *2
bz b z
Lz λ zx
(,, ) () [ ( )1] ()
Таким образом, максимум ()
при
*
λλ.
nm n
11
ijjj i
22
11 1
ij i
λ равен
t
n
*2
1
2
i
и достигается
z
()
i
1
.
Оптимальные значения неотрицательных множителей Лагранжа
**
(,, )
1
могут быть найдены как решение оптимизационной зада-
m
чи, которая называется задачей квадратичного программирования,
двойственной по отношению к задаче (4.10):
mmm
jjj
1
jjjjjjj
2
111
jiiij
m
0
jj
j
1
m
1
i
j
t
() 1
xx ,
0, 1, ,
t
xx
()max
, (4.13)
,
b
m
.
ˆˆ
(,, )
Пусть
1
– решение задачи (4.13) Направляющий вектор
m
оптимальной разделяющей гиперплоскости находится по формуле
71
m
j
jJ
j
j
J
s
g
s
*
ˆ
zx
1
j
jj
,
т.е. направляющий вектор разделяющей гиперплоскости является
линейной комбинацией векторных описаний объектов обучающей
выборки, для которых значения соответствующих оптимальных
множителей Лагранжа отличны от 0.
Такие векторные описания принято называть опорными вектора-
ми. Пусть
*
{1,,[( )1]0}
Jj m b
zx .
0
t
jj
Из условий дополняющей нежесткости видно, при
тельно должно выполняться равенство
описание
ется опорным вектором, если
метра сдвига
x соответствующего объекта обучающей выборки явля-
не принадлежит
ˆ
находится из ограничения, соответствующего произ-
b
ˆ
. Поэтому векторное
0
j
. Оценка пара-
0
обяза-
0
вольному опорному вектору.
Распознавание новых объектов. Классификация нового распо-
знаваемого объекта
с описанием x вычисляется согласно знаку
выражения
Объект
m
() ( )
xxx
ˆ
j
1
относится к классу
jj j
t
ˆ
b
. (4.14)
, если () 0g x , и к классу
K
1
в
K
2
противном случае.
4.7.2. Отсутствие линейной разделимости
Существенным недостатком рассмотренного варианта метода
опорных векторов является требование линейной разделимости классов. Однако данный недостаток может быть легко преодолен с помощью следующей модификации, основанной на использовании дополнительного вектора неотрицательных переменных
(, , )
1
.
m
Требования об отделимости классов из задачи (4.9) заменяются
более мягкими требованиями:
72
j
s
t
j
s
j
j
t
b
zx
1
b
j
1
zx
при
j
при
SK
SK
2jt
,
1jt
, 1, ,jm
.
m
При этом выдвигается требование минимальности суммы
1
j
Поиск оптимальных параметров разделяющей гиперплоскости при
отсутствии линейной разделимости, таким образом, сводится к решению задачи квадратичного программирования:
nm
1
2
zC
2
t
()1,0,
jj jj
ij
11
ij
b
min
,
1, ,jm
zx
.
.
Положительная константа
горитма. Иными словами, оптимальное значение
C
является открытым параметром ал-
C
подбирается
пользователем.
Пусть
λ
1
– вектор множителей Лагранжа, соответ-
m
** *
(,, )
ствующих ограничениям:
t
()1
b
zx ;
jj
** *
(,, )
η
1
– вектор множителей Лагранжа, соответствующих
m
ограничениям:
0,
1, ,jm .
j
***
Из теоремы ККТ следует, что для точки
nm
1
2
zC
функция
2
ij
11
ij
достигает своего минимума при ограниче-
(,,)bz ζ
, в которой
ниях задачи (4.10) и некоторых векторов значений неотрицательных
множителей Лагранжа
λ и
η
, соблюдаются условия стационарно-
*
*
сти лагранжиана
nmm m
2
bzC b
Lzζλη zx
(,,, , ) [ ( ) 1 ]
по переменным (, , )
1
ijjjj jjj
2
111 1
ijj j
bz η .
t
73
Данные условия записываются в виде
j
j
(,,, , )
b
Lzζλη
z
i
***
b
z ζ
(,,)
m
**
zxin
ijjji
j
0, 1, , ;
1
(,, )
b
Lz λ
b
j
***
(,,)
b
z λ
***
b
(,,)
z λ
(,, )
Lz λ
b
Также из теоремы ККТ следует необходимость выполнения
венств, которые носят название условий дополняющей нежесткости
**
[( )1 ]0,. 0, 1,,
jj j j jj
t
bjm zx , 1, ,jm
Оптимальные значения множителей
m
*
1
j
Cjm
0;
jj
jj
0, 1, ,
.
.
**
(,, )
1
могут быть найде-
m
m
ра-
ны как решение двойственной задачи квадратичного программирования
mmm
jjj
1
jjjjjjj
2
111
jiiij
Cjm
m
0
jj
j
1
m
1
i
j
t
() 1
xx ,
0, 1, ,
t
xx
()max
, (4.15)
,
b
.
Как и в случае линейной разделимости, направляющий вектор оптимальной разделяющей гиперплоскости находится по формуле
m
**
zx
1
j
0
и
j
. Из условий
jj
0
при
j
0
C
C
.
j
jj
0
и
jj
0
следует, что
Так же, как и в случае существования линейной разделимости па-
ˆ
раметра сдвига,
произвольному опорному вектору
74
находится из ограничения, соответствующего
b
. Действительно, из условий
x
0
j
s
g
yy
yy
j
дополняющей нежесткости и следующего из них равенства
*
t
следует выполнение равенства
равенству
*ˆt
b zx
.
j
Распознавание нового объекта
x
так же, как и в случае линейно разделимых классов, с помощью
()10
jj
производится по его описанию
ˆ
b
zx , эквивалентного
j
решающего правила (4.14) по величине распознающей функции
x .
()
4.7.3. Построение оптимальных нелинейных
разделяющих поверхностей с помощью метода
опорных векторов
Предположим, что в исходном признаковом пространстве эффек-
тивное линейное разделение отсутствует. Однако может существо-
H
вать такое евклидово пространство
n
и
H
R
, что образы объектов обучающей вы-
y
оказываются разделимыми с помощью
K
2
P
. Пусть
y
области пространства
борки из классов
K
1
некоторой гиперплоскости
странстве
{, , }
1
H
векторов описаний объектов обучающей выборки
y
.
m
и такое отображение U из
y
{, , }
1
– образы в про-
m
Линейная разделимость означает существование решения аналога
задачи квадратичного программирования (4.10) для пространства
H
, которое сводится к решению двойственной задачи
y
,
вания ()
mmm
jjj
1
jjjjjjj
2
111
jiiij
m
1
i
m
j
1
0, 1, ,
j
t
() 1
yy ,
jj
t
()max
yy
, (4.16)
b
0
,
m
.
Отметим, что необходимость полного восстановления преобразо-
U x для поиска всех коэффициентов задачи квадратичного
75
программирования отсутствует. Достаточно найти функцию, связы-
y
K
вающую скалярное произведение
и
()Uyx
11
22
.
()U
x
yy
12
c векторами
x
x
и
1
, где
2
t
(, )
Такую функцию далее будем называть потенциальной и обозначать
(, )xx
12
.
Можно подобрать потенциальную функцию таким образом, чтобы
решение (4.16) было оптимальным. При этом поиск оптимальной потенциальной функции может производится внутри некоторого заранее заданного семейства. Например, потенциальную функцию можно
задать с помощью простого сдвига
(, )= θ
K
xx xx
12 12
t
. Решение, по-
лученное путем замены скалярных произведений на потенциальные
функции, может рассматриваться как построение линейной разделяющей поверхности в трансформированном пространстве, если удается доказать существование отображения ()
и
произвольных
x
1
из nR выполняется равенство
x
2
(, )= () ()
KUUxx x x
12 1 2
U x , для которого при
t
. (4.17)
Существование преобразования ()
U x , для которого выполняется
равенство (4.17), было показано для неотрицательных симметричных
потенциальных функций вида
где
d – целое число; q – вещественная константа.
(, )=[( )] ,
12 12
Существование преобразования ()
td
qxx xx
U x с выполнением равенство
(4.17) доказано также для ядровых функции типа гауссианы:
2
()
xx
12
2
d
2
где
– вещественная неотрицательная константа (размер ядра).
(,)= ,
Ke
xx
21
2
1
d
Поскольку в общем случае преобразование является нелинейным,
то прообразом в пространстве
плоскости, существующей в пространстве
оказаться нелинейная поверхность
76
n
R линейной разделяющей гипер-
H
, может
y
.
Для большого числа прикладных задач линейная разделимость
является недостижимой. Поэтому выбор ядровой функции может
производиться из требования о минимальности числа ошибок в
смысле задачи квадратичного програмирования (4.16). На практике
подбор ядровых функций и их параметров производится исходя из
требования достижения максимальной обобщающей способности,
которая оценивается с помощью скользящего контроля или оценок
на
контрольной выборке. Опыт решения прикладных задач показывает, что высокая эффективность распознавания достигается при выборе в качестве ядровой функции гауссианы.
Прототипом метода опорных векторов явился метод «Обобщенный портрет», разработанный В.Н. Вапником и А.Я. Червоненкисом
[1]. В современном варианте метод был предложен в работе [20]. Подробное описание метода
появилось в работе [21] в 1998 г. В настоящее время метод опорных векторов является одним из наиболее
распространенных в мире средством решения задач распознавания,
высокая эффективность которого подтверждается практикой. В связи
с этим были предложены подходы, использующие основные принципы метода опорных векторов для решения задач регрессионного
анализа.
77
5. ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ МЕТОДОВ
РАСПОЗНАВАНИЯ И РЕГРЕССИОННОГО
АНАЛИЗА В РАЗЛИЧНЫХ ОБЛАСТЯХ
5.1. Примеры и задачи
Методы распознавания находят самое широкое применение в современных технических системах контроля, проектирования и прогнозирования технологических процессов, в системах обеспечения
безопасности, аэрокосмического зондирования, различных системах
распознавания изображений, банковской сфере, здравоохранении,
химии и других областях.
Управление технологическим процессом. В качестве примера
можно привести задачу прогнозирования теплового состояния доменных печей с целью повышения эффективности управления ходом
плавки, повышения, качества выплавляемого чугуна и безопасности
работы доменных печей [22]. Необходимость использования методов
распознавания связана в первую очередь с высокой сложностью доменного процесса и отсутствием его полного математического описания
.
Автоматизированное проектирование технологического процесса
. В работе [23] предлагается использовать методы распознава-
ния для решения задач автоматизированного проектирования технологического процесса сборки изделия на начальных этапах, выбор
метода сборки и проектирование последовательности сборки.
Автоматическое оповещение о возникновении пожаров. Мето-
ды распознавания используются при разработке мультиканальных
извещателей возникновения пожаров по набору показателей, характеризующих состояние окружающей среды: температуры, изменения
концентрации дыма и угарного газа CO, интенсивности инфракрасного излучения [24]. Использование современных методов распознавания позволяет достичь максимальной чувствительности при выявлении возгораний на ранней стадии. При этом число ложных срабатываний оказывается минимальным.
Прогноз возникновения аварийных ситуаций в технических системах
. Методы машинного обучения достаточно активно используются для изучения факторов, влияющих на износ узлов технических систем и объектов инфраструктуры, прогноза возникновения
аварийных ситуаций, оценки вероятности отказов. В работе [25] рас-
78
сматривалась задача оценки влияния факторов, характеризующих
X
x
x
x
интенсивность железнодорожного движения на возникновение и
размер дефектов железнодорожных путей. Рассматривались разнообразные дефекты, связанные с отклонением геометрической формы от
идеальных значений, включая искривление, скос, отклонение от
нормы ширины колеи и др. Авторами была построена линейная модель, связывающая логарифм динамики относительного увеличения
выраженности дефекта
на промежутке времени
нодорожного пути со значениями переменных
t
на участке желез-
,,
1
, характери-
X
n
зующих интенсивность движения, а также время, прошедшее с момента проведения на этом участке ремонтных работ. В число параметров интенсивности движения вошли общий тоннаж прошедших
составов, число вагонов, средняя скорость интенсивности движения.
Прогнозирование свойств новых химических соединений. Ме-
тоды распознавания и регрессионного анализа используются при
прогнозирования свойств новых, еще не синтезированных химических соединений по их химическим формулам. В работе [26] представлен подход к решению данной задачи, основанный на предположении, что свойства многокомпонентных неорганических веществ
зависят от фундаментальных свойств химических элементов, входящих в их состав.
Наличие таких зависимостей, которые в значительной степени являются периодическими по отношению к атомным
весам элементом, является следствием Периодического закона
Д.И. Менделеева. Использование для описания зависимостей физических моделей (квантово-химических или механических ) затруднено из-за очень высокой сложности последних. Поэтому подход, основанный на методах машинного обучения, оказывается
востребованным. Предположим, что ставится задача прогнозирования некоторого свойства для класса многокомпонентных неорганических веществ, имеющих структуру
ми элементами, а элементы
ответственно.
нию
mm
de
Тогда общее число веществ в классе равно произведе-
, где
– число элементов в множестве D ,
m
d
элементов в множестве
рактеризуется вектором
2n, где
(,,)
x
(,, )
и
n
1
dd
фундаментальные свойства элементов
abcde, где abc являются фиксированны-
d и e принадлежат множествам D и E со-
– число
m
e
E. Каждое конкретное вещество в классе ха-
ddee
(,, ,,,)
ee
1
xx x
11
nn
x
являются векторами, описывающими
n
, имеющим размерность
d и e.
79
Прогнозирование свойств новых материалов. Следует упомя-
нуть также задачу прогнозирования свойств металлических сплавов
по весовому содержанию его составляющих [27]. Решение данной
задачи позволяет существенно снизить число дорогостоящих экспериментов, заранее выделив интервалы значений весовых содержаний
составляющих, при которых достигаются оптимальные выходные
характеристики сплавов. Например, такими характеристиками могут
быть предел прочности на изгиб и твердость.
Задачи анализа аэрокосмических снимков. Методы распознава-
ния активно используются при решении задач анализа изображений.
К таким задачам следует отнести задачи поиска объектов различного
типа на аэрокосмических снимках, включая выделение антропогенных объектов, обнаружение очагов природных катастроф, выделение
областей растительного покрова определенного типа [22].
Задачи машинного зрения. Методы распознавания используются
в различных системах машинного зрения, включая системы автоматического анализа документов, зрения роботов, анализа микроснимков, автоматического поиска дефектов по изображениям технических
изделий..
5.2. Программная система «РАСПОЗНАВАНИЕ»
Одним из программных средств, предназначенных для решения
задач распознавания, является программная система
«РАСПОЗНАВАНИЕ», разработанная в Вычислительном центре им.
А.А.
Дородницына РАН [6]. Программа состоит из набора методов
распознавания, включая большинство методов, описанных выше:
– Тестовый алгоритм.
– Алгоритм вычисления оценок.
– Линейный дискриминант Фишера.
– Метод
k-ближайших соседей.
– Метод решающих деревьев.
– Многослойный перцептрон.
– Метод опорных векторов.
Система «РАСПОЗНАВАНИЕ» (рис. 5.1) позволяет производить
обучение алгоритма распознавания для каждого из включенных в нее
методов по предварительно загруженной обучающей выборке. Система позволяет достоверно оценить обобщающую способность обученных алгоритмов. Для этих целей используется оценивание точности алгоритма распознавания
на контрольной выборке, а также авто-
80
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]