- •1.1. Методы искусственного интеллекта в прикладных системах и системах принятии решений
- •1.2. Интеллектуальные информационные технологии в прикладных системах и системах принятия решений
- •1.3. Типология задач интеллектуализации систем
- •Лекция 2. Представление знаний в интеллектуальных системах
- •2.1. Модели представления знаний
- •2.2. Системы, основанные на правилах
- •2.3. Системы, основанные на автоматическом доказательстве теорем
- •2.4. Системы, основанные на автоматическом порождении (выдвижении) гипотез
- •Лекция 3. Структура и основные компоненты прикладных интеллектуальных систем
- •3.1. Прикладные системы, основанные на знаниях
- •3.2. Структура системы управления, основанной на знаниях
- •3.3. Структура интеллектуальных систем поддержки принятия решения
- •3.4. Обобщенная структура экспертной системы
- •Лекция 4. Классификация прикладных интеллектуальных систем
- •4.1. Классификация экспертных систем
- •4.2. Примеры прикладных интеллектуальных систем
- •Лекция 5. Основные понятия и определения теории принятия решений
- •5.1. Роли людей в процессе принятия решений
- •5.2. Альтернативы
- •5.3. Критерии
- •5.4. Основные этапы процесса принятия решений
- •5.5. Математические методы теории принятия решений
- •Лекция 6. Принятие решений с помощью статистической проверки гипотез
- •6.1. Статистические решения
- •6.2. Основные задачи статистических решений
- •6.3. Статистическая проверка гипотез
- •6.4. Ошибки решения
- •6.5. Решающее правило при проверке гипотез
- •Лекция 7. Байесовская и последовательная процедуры принятия решения.
- •7.1. Байесовские процедуры принятия решения
- •7.1.1. Байесовская процедура при проверке простой гипотезы
- •7.1.2. Байесовские процедуры в задаче классификации
- •7.2. Принятие решения с помощью последовательной процедуры Вальда
- •Лекция 8. Принятие решения методом дискриминантнного анализа
- •8.1. Классификация в случае, когда распределения классов определены полностью
- •8.1.1. Модель двух нормальных распределений с общей ковариационной матрицей (модель Фишера)
- •8.1.2. Модель двух нормальных распределений с разными ковариационными матрицами
- •8.1.3. Модель нескольких нормальных распределений с общей ковариационной матрицей
- •8.2. Классификация при наличии обучающих выборок
- •8.2.1. Подстановочный алгоритм в модели Фишера
- •8.2.3. Правила классификации
- •8.3. Ошибка решающего правила
- •Лекция 9. Древообразные классификаторы
- •9.1. Назначение древообразных классификаторов
- •9.1. Структура дерева классификации
- •9.3. Вычислительные задачи древообразных классификаторов
- •9.3.1. Определение качества предсказания
- •9.3.2. Выбор разбиений
- •9.3.3. Определение правила прекращения разбиения
- •Лекция 10. Деревья решений
- •9.1. Характеристики дерева решений
- •9.2. Построение дерева решений
- •Лекция 11. Методы прогнозирования
- •11.1. Анализ временных рядов
- •11.1.1. Модель временного ряда
- •11.1.2. Тренд, сезонная и циклическая компоненты
- •11.1.3. Декомпозиция временного ряда
- •11.1.4. Экспоненциальное сглаживание
- •11.2. Каузальные методы прогнозирования
- •11.3. Качественные методы прогнозирования
- •Лекция 12. Основная задача линейного программирования
- •12.1. Математическая модель основной задачи линейного программирования
- •12.2. Задача линейного программирования с ограничениями-неравенствами
- •12.3. Примеры задач линейного программирования
- •12.3.1. Транспортная задача
- •12.3.2. Задача о назначениях
- •Лекция 13. Симплекс-метода решения задачи линейного программирования
- •13.1. Характеристика симплекс–метода
- •13.2. Табличный алгоритм замены базисных переменных
- •13.3. Отыскание опорного решения основной задачи линейного программирования
- •13.4. Отыскание оптимального решения основной задачи линейного программирования
- •Лекция 14. Многокритериальные методы принятия решений при объективных моделях
- •14.1. Объединение критериев
- •14.2. Метод главного критерия
- •14.3. Метод последовательных уступок
- •14.4. Метод целевого программирования
- •14.5. Метод, использующий принцип гарантированного результата
- •14.6. Метод равных наименьших относительных отклонений
- •14.7. Процедура STEM поиска удовлетворительных значений критериев
- •Лекция 15. Выбор Парето–оптимальных решений
- •15.1. Основные определения
- •15.2. Графическая интерпретация
- •15.3. Постановка задачи
- •Лекция 16. Оценка многокритериальных альтернатив с помощью теории полезности
- •16.1. Теория полезности
- •16.2. Принятие решения на основе значения ожидаемой полезности
- •16.3. Многокритериальная теория полезности (MAUT)
- •Лекция 17. Сравнение альтернатив методом аналитической иерархии
- •17.1. Основные этапы метода аналитической иерархии
- •17.2. Декомпозиция задачи
- •17.3. Попарное сравнение критериев и альтернатив
- •17.4. Свойства идеальной матрицы сравнений
- •Лекция 18. Приоритеты для критериев и альтернатив и выбор наилучшей альтернативы в методе анализа иерархий
- •18.1. Вычисление собственных характеристик обратно симметричной матрицы
- •18.2. Вычисление величины приоритетов
- •18.3. Определение наилучшей альтернативы
- •18.4. Проверка согласованности
- •18.5. Пример применения метода анализа иерархий
- •Лекция 19. Оценка многокритериальных альтернатив методами ELECTRE
- •19.1. Этапы подхода, направленного на разработку индексов попарного сравнения альтернатив
- •19.2. Свойства бинарных отношений
- •19.3. Метод ELECTRE I
- •19.4. Метод ELECTRE II
- •19.5. Метод ELECTRE III
- •Лекция 20. Основные понятия и математическая модель игровых методов обоснования решений
- •20.1. Основные понятия теории игр
- •20.2. Математическая модель игры
- •20.3. Нижняя и верхняя цена игры. Принцип минимакса
- •Лекция 21. Методы решения игр
- •21.1. Решение игры в чистых стратегиях
- •21.2. Решение игры в смешанных стратегиях
- •21.3. Упрощение игр
- •21.4. Решение игры 2х2
- •21.5. Графический метод решения (2х2)-игр
- •Лекция 22. Игры 2 х п
- •Лекция 23. Решение игр т х 2 и т х п
- •23.1. Решение игр т х 2
- •23.2. Решение игр т х п
- •Лекция 24. Критерии принятия решений в условиях риска и неопределенности
- •24.1. Основные понятия. Математическая модель
- •24.3. Максиминный критерий Вальда
- •24.4. Критерий минимаксного риска Сэвиджа
- •24.5. Критерий пессимизма-оптимизма Гурвица
- •Литература
Запишем решающее правило принятия или отклонения нулевой гипотезы,
основанное на критическом значении статистики критерия |
γk : |
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
H |
0 |
, |
если |
γ |
k |
< |
(ε), |
|
принимается гипотеза |
|
если |
|
≥ |
(ε), |
||
|
H1, |
γk |
||||||
где (ε) – порог теста размера ε (критическое значение статистики критерия). Порог теста (ε) определяется
• для двусторонней альтернативы как квантили уровня ε1 = 1 – α/2 и ε2 = α/2 распределения статистики критерия (α – уровень значимости),
• для левосторонней альтернативы как квантиль уровня ε = α распределения статистики критерия,
• для правосторонней альтернативы как квантиль уровня ε = 1 – α распределения статистики критерия.
Лекция 7. Байесовская и последовательная процедуры принятия решения.
7.1. Байесовские процедуры принятия решения
Байесовские процедуры принятия решения (названы в честь Thomas Bayes, 1702-1761) предназначены выбора одного действия (одного варианта) из двух и более возможных (а1, а2,…, ат). Имея набор переменных X = {x1, x2,...,xр}, мы должны определить апостериорную вероятность события аj из множества возможных исходов А = {а1, а2,…, ат} или риск, связанный с выбором того или иного действия. Число компонент вектора наблюдений (р) может быть произвольным. компоненты могут быть как непрерывными, так и дискретными. Байесовские процедуры применяются в задачах проверки гипотез и классификации. Метод Байеса строит правило, в соответствии с которым решение выбирается таким образом, чтобы обеспечить минимальную вероятность ошибки (минимум среднего риска).
7.1.1. Байесовская процедура при проверке простой гипотезы
Пусть требуется проверить |
простую гипотезу Н1 : θ = θ1 при наличии простой |
альтернативы Н2 : θ = θ2. Для θ1 |
и θ2 заданы априорные вероятности р1 = 1 – р и р2 = р. |
Рассмотрим вначале задачу принятия решения при отсутствии экспериментальных данных. В этом случае возможны только две стратегии: принять действие а1 или принять
действие а2. Риски, связанные с принятием того или иного действия, равны
R (а1) = (1 – р) · 0 + ps(θ2) = ps(θ2),
R (а2) = (1 – р) s(θ1) + р · 0 = (1 – р) s(θ1).
Здесь s обозначены потери, связанные с ошибочным выбором. Соответствующий байесов риск в случае отсутствия экспериментальных данных составляет
RB = min (ps(θ2), (1 – р) s(θ1)).
Значения обоих рисков совпадают в точке пересечения функций R (а1) и R (а2), т.е. в точке р = р0, где
р0 s(θ2) = (1 – р0) s(θ1), р0 = s(θ1) / (s(θ1) + s(θ2)).
Таким образом, решение задачи в случае отсутствия экспериментальных данных
состоит в принятии действия а1, если p < р0, действия а2, если p > р0, и любого из двух действий, если p = р0.
Рассмотрим теперь решение задачи при наличии экспериментальных данных. Эти данные используются для перехода от априорных вероятностей к апостериорным вероятностям р(Х| θi). Байесова стратегия состоит теперь в том, чтобы применить действие
38
а1, если р(Х| θi) < р0, действие а2, если р(Х| θi) > р0, и любого из двух действий, если р(Х| θi) = = р0. Апостериорные вероятности р(Х|θi) вычисляются по формуле Байеса с использованием
функции правдоподобия. Тогда для отношения правдоподобия λ(Х) будет справедливо следующее соотношение:
λ(Х) = |
ps(θ2 ) |
= k. |
(1− p)s(θ ) |
||
|
1 |
|
Таким образом,
если λ(Х) > k, то p < р0 и байесова стратегия ведет к выбору действия а1; если λ(Х) < k, то p > р0 и байесова стратегия ведет к выбору действия а2;
если λ(Х) = k, то p = р0 и байесова стратегия ведет к выбору любого из двух действий а1
и а2.
7.1.2. Байесовские процедуры в задаче классификации
При использовании методов классификации выбор одного действия из двух и более возможных производится путем определения номера класса, к которому относится классифицируемый объект или ситуация Х.
Байесовская процедура классификации может быть описана следующим образом [1]. Обозначим через sij потери от ошибочной классификации наблюдения, принадлежащего
классу Ωi , в класс |
|
Ωj . Определим функцию риска |
при |
условии, что |
наблюдение |
||
принадлежит классу πi : |
|
|
|
||||
m |
|
|
|
|
|
||
Li(d) = ∑sij P( j |
|
i) , |
|
|
|
||
|
|
|
|
||||
j=1 |
|
|
|
|
|
||
где P( j |
|
i) = |
|
∫ fi (x)dx – вероятность ошибочной классификации |
наблюдения, |
||
|
|
||||||
|
|
|
|
Rj |
|
|
|
принадлежащего классу Ωi , в класс Ωj , i, j = 1,…, m; |
fi (x) |
– плотность распределения |
|||||
вектора Х.
Пусть Р ( Ωi ) – известная априорная вероятность принадлежности наблюдения х классу Ωi , i =1,…, m, Р ( Ω1) + …+ Р ( Ωm ) = 1. Байесовский риск представляется следующим выражением:
m |
|
r(d) = ∑P(Ωi )Li (d) . |
(7.1) |
j=1
Из условия минимизации риска (7.1) следует известное решающее правило:
классифицируемый объект ω, характеризуемый вектором признаков х, относится к классу Ωi , если
m |
m |
|
∑P(Ωi )ski fk (x) = |
min ∑P(Ωk )skj fk (x) . |
(7.2) |
k =1 |
1≤ j≤m k =1 |
|
Пример применения байесовского правила (7.2). Рассмотрим случай т = 2. Пусть в результате эксперимента установлено, что значение вектора признаков у классифицируемого объекта ω составляет x = х0. Тогда апостериорные вероятности Р ( Ωi | х0) принадлежности
объекта классу Ωi , i = 1, 2, по формуле Байеса равны
Р ( Ωi | х0) = Р ( Ωi ) Р (х0| Ωi ) / Р (х0), |
(7.3) |
39