- •1.1. Методы искусственного интеллекта в прикладных системах и системах принятии решений
- •1.2. Интеллектуальные информационные технологии в прикладных системах и системах принятия решений
- •1.3. Типология задач интеллектуализации систем
- •Лекция 2. Представление знаний в интеллектуальных системах
- •2.1. Модели представления знаний
- •2.2. Системы, основанные на правилах
- •2.3. Системы, основанные на автоматическом доказательстве теорем
- •2.4. Системы, основанные на автоматическом порождении (выдвижении) гипотез
- •Лекция 3. Структура и основные компоненты прикладных интеллектуальных систем
- •3.1. Прикладные системы, основанные на знаниях
- •3.2. Структура системы управления, основанной на знаниях
- •3.3. Структура интеллектуальных систем поддержки принятия решения
- •3.4. Обобщенная структура экспертной системы
- •Лекция 4. Классификация прикладных интеллектуальных систем
- •4.1. Классификация экспертных систем
- •4.2. Примеры прикладных интеллектуальных систем
- •Лекция 5. Основные понятия и определения теории принятия решений
- •5.1. Роли людей в процессе принятия решений
- •5.2. Альтернативы
- •5.3. Критерии
- •5.4. Основные этапы процесса принятия решений
- •5.5. Математические методы теории принятия решений
- •Лекция 6. Принятие решений с помощью статистической проверки гипотез
- •6.1. Статистические решения
- •6.2. Основные задачи статистических решений
- •6.3. Статистическая проверка гипотез
- •6.4. Ошибки решения
- •6.5. Решающее правило при проверке гипотез
- •Лекция 7. Байесовская и последовательная процедуры принятия решения.
- •7.1. Байесовские процедуры принятия решения
- •7.1.1. Байесовская процедура при проверке простой гипотезы
- •7.1.2. Байесовские процедуры в задаче классификации
- •7.2. Принятие решения с помощью последовательной процедуры Вальда
- •Лекция 8. Принятие решения методом дискриминантнного анализа
- •8.1. Классификация в случае, когда распределения классов определены полностью
- •8.1.1. Модель двух нормальных распределений с общей ковариационной матрицей (модель Фишера)
- •8.1.2. Модель двух нормальных распределений с разными ковариационными матрицами
- •8.1.3. Модель нескольких нормальных распределений с общей ковариационной матрицей
- •8.2. Классификация при наличии обучающих выборок
- •8.2.1. Подстановочный алгоритм в модели Фишера
- •8.2.3. Правила классификации
- •8.3. Ошибка решающего правила
- •Лекция 9. Древообразные классификаторы
- •9.1. Назначение древообразных классификаторов
- •9.1. Структура дерева классификации
- •9.3. Вычислительные задачи древообразных классификаторов
- •9.3.1. Определение качества предсказания
- •9.3.2. Выбор разбиений
- •9.3.3. Определение правила прекращения разбиения
- •Лекция 10. Деревья решений
- •9.1. Характеристики дерева решений
- •9.2. Построение дерева решений
- •Лекция 11. Методы прогнозирования
- •11.1. Анализ временных рядов
- •11.1.1. Модель временного ряда
- •11.1.2. Тренд, сезонная и циклическая компоненты
- •11.1.3. Декомпозиция временного ряда
- •11.1.4. Экспоненциальное сглаживание
- •11.2. Каузальные методы прогнозирования
- •11.3. Качественные методы прогнозирования
- •Лекция 12. Основная задача линейного программирования
- •12.1. Математическая модель основной задачи линейного программирования
- •12.2. Задача линейного программирования с ограничениями-неравенствами
- •12.3. Примеры задач линейного программирования
- •12.3.1. Транспортная задача
- •12.3.2. Задача о назначениях
- •Лекция 13. Симплекс-метода решения задачи линейного программирования
- •13.1. Характеристика симплекс–метода
- •13.2. Табличный алгоритм замены базисных переменных
- •13.3. Отыскание опорного решения основной задачи линейного программирования
- •13.4. Отыскание оптимального решения основной задачи линейного программирования
- •Лекция 14. Многокритериальные методы принятия решений при объективных моделях
- •14.1. Объединение критериев
- •14.2. Метод главного критерия
- •14.3. Метод последовательных уступок
- •14.4. Метод целевого программирования
- •14.5. Метод, использующий принцип гарантированного результата
- •14.6. Метод равных наименьших относительных отклонений
- •14.7. Процедура STEM поиска удовлетворительных значений критериев
- •Лекция 15. Выбор Парето–оптимальных решений
- •15.1. Основные определения
- •15.2. Графическая интерпретация
- •15.3. Постановка задачи
- •Лекция 16. Оценка многокритериальных альтернатив с помощью теории полезности
- •16.1. Теория полезности
- •16.2. Принятие решения на основе значения ожидаемой полезности
- •16.3. Многокритериальная теория полезности (MAUT)
- •Лекция 17. Сравнение альтернатив методом аналитической иерархии
- •17.1. Основные этапы метода аналитической иерархии
- •17.2. Декомпозиция задачи
- •17.3. Попарное сравнение критериев и альтернатив
- •17.4. Свойства идеальной матрицы сравнений
- •Лекция 18. Приоритеты для критериев и альтернатив и выбор наилучшей альтернативы в методе анализа иерархий
- •18.1. Вычисление собственных характеристик обратно симметричной матрицы
- •18.2. Вычисление величины приоритетов
- •18.3. Определение наилучшей альтернативы
- •18.4. Проверка согласованности
- •18.5. Пример применения метода анализа иерархий
- •Лекция 19. Оценка многокритериальных альтернатив методами ELECTRE
- •19.1. Этапы подхода, направленного на разработку индексов попарного сравнения альтернатив
- •19.2. Свойства бинарных отношений
- •19.3. Метод ELECTRE I
- •19.4. Метод ELECTRE II
- •19.5. Метод ELECTRE III
- •Лекция 20. Основные понятия и математическая модель игровых методов обоснования решений
- •20.1. Основные понятия теории игр
- •20.2. Математическая модель игры
- •20.3. Нижняя и верхняя цена игры. Принцип минимакса
- •Лекция 21. Методы решения игр
- •21.1. Решение игры в чистых стратегиях
- •21.2. Решение игры в смешанных стратегиях
- •21.3. Упрощение игр
- •21.4. Решение игры 2х2
- •21.5. Графический метод решения (2х2)-игр
- •Лекция 22. Игры 2 х п
- •Лекция 23. Решение игр т х 2 и т х п
- •23.1. Решение игр т х 2
- •23.2. Решение игр т х п
- •Лекция 24. Критерии принятия решений в условиях риска и неопределенности
- •24.1. Основные понятия. Математическая модель
- •24.3. Максиминный критерий Вальда
- •24.4. Критерий минимаксного риска Сэвиджа
- •24.5. Критерий пессимизма-оптимизма Гурвица
- •Литература
8.1.3. Модель нескольких нормальных распределений с общей ковариационной матрицей
Предположения. Распределения вектора Х в i–м классе являются многомерными нормальными N ( μi ,Σ) с общей ковариационной матрицей Σ (i=1,…, т).
Правило классификации формулируется следующим образом [15]:
для каждого i = 1, …, m объект с описанием x относится в класс |
Ωj , если значение |
функции классификации u (x) больше некоторого порогового значения |
|
uij (x) = (x – ( μi + μ j )/ 2)T Σ–1 ( μ j – μi ) > ln( pi / p j ), |
(8.5) |
i = 1, …, m, i≠ j . |
|
Построенные классификационные правила (8.1), (8.2) и (5.5) являются байесовскими правилами, так как обеспечивают минимальную вероятность ошибки. В случае двух равновероятных классов вероятность ошибки равна r = Φ(– /2).
8.2. Классификация при наличии обучающих выборок
Априорная информация об исследуемых классах представляется в виде распределений. Если распределения Х внутри классов определяются лишь частично или неизвестны, тогда необходимо использовать два вида информации: предположения о свойствах распределений и обучающую выборку.
Обучающая выборка представляет собой последовательность независимых пар наблюдений вида Аn = {(Xj, yj), j = 1, …, n}. Здесь yj показывает номер класса, которому принадлежит наблюдение Xj; P{ yj = i } = pi, i =1, …, m; pi – неизвестная вероятность того, что
|
m |
|
Х будет извлечено из i – го класса; число классов m известно; |
∑ pi = 1. Для yj = i |
все Xj |
|
i=1 |
|
распределены с неизвестной функцией распределения Fi. |
Число yj = i в |
выборке |
обозначается ni и называется объемом выборки из i – го класса. |
|
|
Предположение. Функция распределения Fi принадлежит некоторому известному семейству распределений, зависящему от неизвестного векторного параметра θi, i =1, …, m.
В этом случае наиболее часто используются так называемые подстановочные алгоритмы построения правила классификации. В таких алгоритмах в отношении
правдоподобия |
|
fi (х, θ) / f j (х, θ), i, j = 1, 2,…, m, j ≠ i, |
(8.6) |
неизвестные параметры θ модели заменяются их оценками, построенными по обучающей выборке, а затем определяются параметры разделяющих функций. Рассмотрим пример такого алгоритма, использующего информацию в виде предположений и выборку.
8.2.1. Подстановочный алгоритм в модели Фишера
Предположения: |
теоретические распределения – многомерные нормальные Fi = |
||||||
= N( μi , Σ), |
| Σ | > 0, |
i =1, 2; |
параметры распределения: |
μi (вектор математического |
|||
ожидания), |
Σ (ковариационная |
матрица) – |
неизвестны. |
Имеется |
классифицированная |
||
|
|
|
|
|
m |
|
|
обучающая |
выборка |
А |
суммарного объема |
n = ∑ni , |
состоящая |
из m независимых |
|
|
|
m |
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
подвыборок Ai : А = |
UAi . |
|
|
|
|
||
|
|
i=1 |
|
|
|
|
44
|
Параметры μi и Σ могут быть оценены по выборочным данным. Заданы две выборки |
|||||||||||||||||||||||
x |
= ( x(i) |
,..., x(i) ), i =1, 2. Оценками |
|
q (q = 1, …, p) компонент вектора математических |
||||||||||||||||||||
X |
||||||||||||||||||||||||
i |
1 |
|
|
|
ni |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
ожиданий μq являются |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
q(i) |
= 1/ ni ∑i x(jqi) , q = 1, …, p. |
(8.7) |
|||||||||||||||||||
|
X |
|||||||||||||||||||||||
|
|
|
|
|
|
|
j=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Оценки (Si )rs элементов ковариационной матрицы Σ вычисляются как |
|
||||||||||||||||||||||
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
(Si )rs =1/ (n i– 1) ∑i (x(jri) − |
|
r(i) )(x(jsi) − |
|
|
s(i) ) ; r, s = 1, …, p. |
(8.8) |
|||||||||||||||||
|
X |
X |
||||||||||||||||||||||
|
|
|
|
|
|
|
j=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Получив оценки (8.7) и (8.8), подставим их в РП, построенное на основе отношения |
|||||||||||||||||||||||
правдоподобия (8.6): |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
f (x, |
|
|
(2) , S) / f (x, |
|
(1) , S) > |
c, |
(8.9) |
||||||||||||||||
|
X |
X |
||||||||||||||||||||||
|
|
|
|
2 |
|
ni |
|
|||||||||||||||||
|
где S = 1/ (n1+ n2 – 2) ∑(ni −1) ∑(x(ji) − |
|
(i) )(x(ji) − |
|
(i) )T , |
|
||||||||||||||||||
|
X |
X |
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
i=1 |
j=1 |
|
||||||||||||||
|
f (x, |
|
|
, S) = (2π)− p / 2 | S |−1/ 2 exp(−(X − |
|
)T S −1(X − |
|
) / 2) – |
плотность р – |
|||||||||||||||
|
X |
X |
X |
|||||||||||||||||||||
мерного нормального распределения. |
|
8.2.3. Правила классификации
Правило классификации на основании отношения правдоподобия
Правило классификации на основании отношения правдоподобия формулируется следующим образом [1]:
если вычисленное значение отношения правдоподобия (8.6) больше некоторого заданного порогового значения c, то классифицируемый объект принадлежит второму классу, в противном случае – первому классу
При числе классов m > 2 класс, которому принадлежит объект x, можно определить на основе неравенств fi (х) > fj (х); i, j =1, …, m, i ≠ j.
Правило классификации на основании функции классификации
Для случая, когда fi (х) – плотности многомерного нормального распределения, путем преобразования выражения (8.6) получим уравнение разделяющей границы в виде
h (х) = (х, ν(i) ) – γ (i) |
, |
(8.10) |
||||||
i |
|
|
|
|
|
(i) , i =1, …, m; (Z, W) скалярное |
||
где ν(i) = S–1 |
|
(i) , |
γ(i) = ½ ( |
|
(i) )T S–1 |
|
||
X |
X |
X |
произведение векторов Z и W.
Правило классификации на основании функции классификации:
распознаваемый объект х относится к классу i = 1, …, m, для которого
значение линейной дискриминантной |
функции hi (х) (8.10) является |
максимальным |
|
45