Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Цифровые методы диагностики и прогнозирования процессов. Учебное пособие
.pdf
№ 2809
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСиС»
Кафедра автоматизации
О.В. Сенько
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ
ВЫСШЕГО ОБРАЗОВАНИЯ
Цифровые методы диагностики
и прогнозирования процессов
Учебное пособие
Рекомендовано редакционно-издательским
советом университета
Москва 2016
УДК 681.5
C31
Рецензент
д-р физ.-мат. наук, проф. А.Г. Дьяконов (ф-т ВМК МГУ)
Сенько О.В.
С31 Цифровые методы диагностики и прогнозирования процессов :
учеб. пособие / О.В. Сенько. – М. : Изд. Дом МИСиС, 2016. –
85 с.
ISBN 978-5-906846-21-1
Изложены методы решения задач автоматического прогнозирования и
диагностики процессов с помощью алгоритмов, настроенных по выборкам
прецедентов. Описывается ряд методов регрессионного анализа, включая современные модели, основанные на регуляризации по Тихонову. Анализируются наиболее популярные подходы к решению задач распознавания, включая статистические модели, нейронные сети, решающие деревья и леса, комбинаторно-логические модели, метод опорных векторов и др. Рассматриваются статистически обоснованные способы оценки точности получаемых
решений, сравниваются эффективности различных подходов. Приводится
ряд примеров использования излагаемых методов для решения различных
практических задач в разных отраслях промышленности.
Соответствует ГОС дисциплины «Цифровые методы диагностики и прогнозирования процессов».
Предназначено для магистров, аспирантов и
специалистов.
ISBN 978-5-906846-21-1
2
УДК 681.5
О.В. Сенько, 2016
НИТУ «МИСиС», 2016
ОГЛАВЛЕНИЕ
1. Обучение по выборкам прецендентов ................................................ 5
1.1. Области применения ..................................................................... 5
1.2. Основные понятия ......................................................................... 5
1.3. Методы распознавания и регрессии с максимальной
обобщающей способностью ................................................................ 8
1.4. Способы обучения ......................................................................... 8
1.4.1. Метод максимального правдоподобия (ММП) .................... 8
1.4.2. Метод минимизации эмпирического риска (ММЭР) ........ 11
1.5. Эффект переобучения ................................................................. 12
1.6. Методы оценивания обобщающей способности ...................... 14
1.7. Существующие методы и модели для решения задач
прогнозирования и распознавания .................................................... 15
2. Линейная
регрессия ............................................................................ 17
2.1. Методы настройки моделей ........................................................ 17
2.2. Одномерная регрессия ................................................................ 18
2.3. Многомерная регрессия .............................................................. 19
2.4. Методы регуляризации по Тихонову ......................................... 21
3. Методы распознавания ...................................................................... 25
3.1. Методы оценки эффективности алгоритмов
распознавания ..................................................................................... 25
3.2. Статистические методы распознавания .................................... 31
3.2.1. Байесовский метод, основанный на аппроксимации с
помощью нормальных распределений ......................................... 31
3.2.2. Линейный дискриминант Фишера (ЛДФ) .......................... 34
3.2.3. Логистическая регрессия ..................................................... 36
3.2.4. Метод k-ближайших соседей ............................................... 37
4. Модели распознавания, основанные на
различных способах
обучения .................................................................................................. 38
4.1. Метод линейной машины ........................................................... 38
4.2. Нейросетевые методы ................................................................. 40
4.2.1. Модель искусственного нейрона ......................................... 40
4.2.2. Многослойный перцептрон ................................................. 43
4.3. Решающие деревья и леса ........................................................... 47
4.3.1. Решающие деревья ............................................................... 47
4.3.2. Решающие леса ..................................................................... 53
4.4. Комбинаторно-логические методы, основанные на
принципе частичной прецедентности ............................................... 54
3
4.5. Методы, основанные на голосовании по системам
логических закономерностей............................................................. 61
4.6. Метод мультимодельных статистически взвешенных
синдромов ............................................................................................ 63
4.7. Метод опорных векторов ............................................................ 67
4.7.1. Линейная разделимость ........................................................ 67
4.7.2. Отсутствие линейной разделимости ................................... 72
4.7.3. Построение оптимальных нелинейных разделяющих
поверхностей с помощью метода опорных векторов .................. 75
5. Практическое использование методов распознавания
и регрессионного анализа в различных областях ................................ 78
5.1. Примеры и задачи ........................................................................ 78
5.2. Программная система «
РАСПОЗНАВАНИЕ» .......................... 80
Библиографический список ................................................................... 83
4
1. ОБУЧЕНИЕ ПО ВЫБОРКАМ ПРЕЦЕНДЕНТОВ
X
X
1.1. Области применения
Y
Задачи диагностики и прогнозирования некоторой величины
,,
доступным значениям переменных
X
1
возникают в различных
n
по
областях человеческой деятельности:
– задачи диагностики хода технологического процесса по показа-
ниям различных датчиков;
– задачи диагностики состояния технического оборудования;
– задачи медицинской диагностики по совокупности клинических
и лабораторных показателей;
– задачи прогнозирования свойств еще не синтезированного хи-
мического соединения по его молекулярной формуле;
– прогноз значений финансовых индикаторов.
Для
решения подобных задач могут быть использованы методы, основанные на использовании точных знаний. Например, могут использоваться методы математического моделирования, основанные на использовании физических законов. Однако сложность точных математических моделей нередко оказывается слишком высокой. Кроме того, при
использовании физических моделей часто требуется знание различных
параметров, характеризующих рассматриваемое явление
или процесс.
Значения некоторых из таких параметров часто известны только приблизительно или неизвестны вообще. Все эти обстоятельства ограничивают возможности эффективного использования физических моделей.
В прикладных исследованиях нередко возникают ситуации, когда
математическое моделирование, основанное на использовании точных законов, является затруднительным, но в распоряжении исследователей оказывается выборка прецедентов – результатов
наблюде-
ний исследуемого процесса или явления, включающих значения прогнозируемой величины
Y
и переменных
,,
1
X
. В этих случаях
n
для решения задач диагностики и прогнозирования могут быть использованы методы, основанные на обучении по прецедентам.
1.2. Основные понятия
Предположим, что задача прогнозирования решается для некоторого процесса или явления F. Множество объектов, которые потен-
5
циально могут возникать в рамках F, называется генеральной сово-
j
j
s
j
X
j
s
X
s
купностью, далее обозначаемой
.
Поиск алгоритма, вычисляющего прогноз, осуществляется по выборке прецедентов, которая обычно является случайной выборкой
объектов из
с известными значениями
,,,
YX X
1
. Выборку пре-
n
цедентов также принято называть обучающей выборкой.
Обучающая выборка имеет вид
{(,),, (,)}
где
Ssy s y xx
111
tmmm
y
– значение переменной для объекта
,
;
x
– векторы переменных
m
– число объектов в
S
,,
X
1
.
t
для объекта
n
;
В процессе обучения производится поиск эмпирических закономерностей, связывающих прогнозируемую переменную
,,
менными
X
1
.
n
Y
с пере-
Данные закономерности далее используются при прогнозировании.
Методы, основанные на обучении по прецедентам, также принято
называть методами машинного обучения (Machine learning).
Прогнозируемая величина
Y
может иметь различную природу:
– принимать значения из отрезка непрерывной оси;
– принимать значения из конечного множества;
– являться кривой, описывающей вероятность возникновения не-
которого критического события до различных моментов времени.
Задачи распознавания. Задачи, в которых прогнозируемая вели-
чина принимает значения из множества, содержащего несколько
элементов, принято называть задачами распознавания. Например, к
ним относятся задачи прогнозирования категориальных переменных.
Подмножества объектов с одинаковым значением
Y
обычно принято
называть классами. Поэтому задача распознавания часто формулируется в следующем виде. Предположим, что множество объектов
,,
является объединением непересекающихся классов
задача распознавания состоит в поиске по обучающей выборке
алгоритма, относящего произвольный объект
,,
одному из классов
KK
1
. При этом искомый номер класса вы-
L
KK
1
. Тогда
L
из множества
S
к
t
6
числяется по описанию объекта s, представляющему собой вектор
s
X
,,
значений на
переменных
X
1
.
n
Задачи регрессии. Задачи, в которых прогнозируемая величина
принимает значения из некоторого подмножества оси вещественных
чисел
R
, обычно принято называть задачами регрессии.
Приведем конкретный пример закономерности, которая может
быть использована при решении задачи регрессии.
Рис. 1.1. Закономерность, описывающая линейную связь
Рис. 1.2. Закономерность для решения задачи распознования
7
На рис. 1.1 изображена закономерность, описывающая линейную
A
p
связь между переменными
Y
и X. Видно, что график линейной
функции 0,3 + 2,7Х проходит достаточно близко к значениям переменной
предсказания значений
зована для решения задачи распознавания: объекты класса K
класса K
Y
. Поэтому данная функция может быть использована для
Y
по соответствующим значениям
На рис. 1.2 показана закономерность, которая может быть исполь-
( ) из обучающей выборки St находятся по разные стороны
2
X
.
( ) и
1
прямой, проходящей через точки.
1.3. Методы распознавания и регрессии
с максимальной обобщающей способностью
Для каждой задачи регрессии или распознавания существует объективно оптимальный метод, для которого обобщающая способность объективно является наилучшей. Для задач регрессионного анализа оптимальным является алгоритм
вольного вектора
в точке
x : () ( | )AEYxx
, равный условному математическому ожиданию Y
x
, вычисляющий прогноз Y для произ-
.
Для задач распознавания наиболее высокой точностью обладает
n
байесовский классификатор. Пусть в точке
,,
сов
KK
1
встречаются с вероятностями
L
xR объекты из клас-
(|),,( |)
KKPxP x
1
.
L
Тогда распознаваемый объект со значением вектора прогностических переменных
x может быть отнесен в класс
выполнения набора неравенства
(|) (|)
KK
PxPx
ii
K
только в случае
i
при {1, , }iL
.
Иными словами, распознаваемый объект может быть отнесен к одному из классов, вероятность принадлежности которому в точке
x
максимальна. Таким образом, максимально точное решение задач
регрессии может быть легко получено, если в каждой точке известны
условные математические ожидания
(|)EY x . Аналогично макси-
мально точное решение задач распознавания может быть получено
(|),,( |)
при знании условных вероятностей
KKPxP x
1
.
L
1.4. Способы обучения
1.4.1. Метод максимального правдоподобия (ММП)
Условные математические ожидания (|)EY x могут быть вычис-
лены, когда известна плотность совместного распределения пере-
,,,
менных
8
YX X
1
, обозначаемая далее
n
(, , , )
YX X
1
n
. Условные
(|),,( |)
X
s
s
вероятности
вестны плотности совместного распределения переменных
для каждого из классов
KKPxP x
1
,,
KK
1
могут быть вычислены, когда из-
L
, а также вероятности каждого из
L
,,
1
X
классов во всей генеральной совокупности.
Плотности совместного распределения в принципе могут быть
получены с использованием известного метода максимального правдоподобия, который используется в математической статистике для
аппроксимации вероятностных распределений по выборкам данных.
В общем случае ММП требует априорных предположений о типе
распределений. Чаще всего используется
распределения. Значения параметров
гипотеза о нормальности
,,
1
, задающих конкрет-
r
ный вид распределений, находятся путем максимизации функционала правдоподобия, представляющего собой произведение плотностей
вероятностей на объектах обучающей выборки. Рассмотрим в каче-
K
стве примера задачу распознавания двух классов
ственному признаку
K
распределены нормально, т.е. точки, описывающие объекты из
2
X
. При этом предполагается, что классы
K
и
1
по един-
2
K
и
1
данных классов, имеют плотности распределения
()
px e
1
1
2
()
значении признака
раметры
знака
X
в классах
и
1
2
2
x
1
2
2
и
()
px e
2
X
равном x. Допустим, что нам неизвестны па-
1
2
, являющиеся математическими ожиданиями при-
K
K
и
1
. Математические ожидания
2
2
()
x
2
2
2
соответственно при
и
2
мо-
1
гут быть найдены с помощью ММП по обучающей выборке
{(,),, (,)}
Ssyx s yx
111
tmmm
K
. При этом подбираются такие значения
2j
, где
y
j
1
при
K
и
1j
и
1
2
2
y
при
j
, при кото-
рых достигают максимума функционалы правдоподобия
2
()
x
LS px e
(, ) ()
11 1
tj
sK sK
jj
11
1
2
1
2
2
(1.1)
n
и
2
()
x
(, ) ()
LS px e
21 2
tj
sK sK
22
jj
1
2
2
2
2
, (1.2)
9
j
x
(, )
т.е. функционал
LS
11
t
является произведением плотностей вероятности в точках, соответствующих объектам обучающей выборки из
класса
K
, функционал
1
(, )
LS
21
t
является произведением плотно-
стей вероятности в точках, соответствующим объектам обучающей
выборки из класса
Поскольку натуральный логарифм
функцией аргумента
лентна задаче максимизации
LS e e
ln[ ( , )] ln ln( ) ln
11
t
ln( ) ln(2 )
mm
11
K
.
2
z , то задача максимизации
ln[ ( , )]
LS
11
22
() ()
xx
jj
m
sK
1
2
11
22
j
1
sK
j
11
22
22
()
x
j
2
2
1
ln( )z является монотонной
(, )
. Отметим, что
t
LS
11
t
эквива-
sK
j
1
2
1
, (1.3)
где
m
– число объектов из класса
1
K
в выборке
1
S
.
t
Из формулы (1.3) следует, что задача максимизации
()
x
сводится к задаче минимизации
(, )
sK
1
j
QS
2( )
x
j
2
димым условием минимума
(, )
QS
1
t
1
, что эквивалентно выполнению равенства
0
Из равенства (1.4) следует, что
(, )
QS
1
t
является выполнение равенства
1
t
1
2
1
sK
. (1.4)
0
1
m
1
sK
j
ММП приводит к выводу о равенстве параметра
нию признака
K
. Очевидно, что поиск оптимального значения параметра
1
10
X
по всем объектам обучающей выборки из класса
j
2
1
j
, т.е. применение
1
1
ln[ ( , )]
LS
11
t
2
1
. Необхо-
2
среднему значе-
с по-
2
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]