- •Теория принятия решений
- •Оглавление
- •Ключевые слова
- •Основные понятия
- •Часть 1. Принятие решения в условиях определенности Метод анализа иерархий
- •1.1 Постановка задачи
- •1.2 Описание алгоритма решения задачи
- •1.3 Пример решения задачи
- •Часть 2. Принятие решения в условиях неопределенности.
- •2.1 Постановка задачи
- •2.2 Описание алгоритма решения задачи
- •2.3 Пример решения задачи
- •Часть 3. Принятие решения в условиях риска
- •3.1 Постановка задачи
- •3.2 Описание алгоритма решения задачи
- •3.3 Пример решения задачи
- •Часть 4. Марковская задача принятия решений
- •4.1 Постановка задачи
- •4.2 Описание алгоритма решения задачи
- •Модель динамического программирования с конечным числом этапов
- •Модель динамического программирования с бесконечным числом этапов
- •Метод полного перебора
- •Метод итерации по стратегиям без дисконтирования
- •4.3 Пример решения задачи для конечного числа этапов
- •4.4 Пример решения задачи с бесконечным числом этапов методом полного перебора
- •4.5 Пример решения задачи с бесконечным числом этапов методом итерации по стратегиям без дисконтирования
- •Заключение
- •Литература
Часть 4. Марковская задача принятия решений
4.1 Постановка задачи
Сформулировать задачу принятия решения в условиях риска с тремя альтернативами.
На основе данных задачи выбрать оптимальную альтернативу.
4.2 Описание алгоритма решения задачи
Марковские процессы применяются при решении стохастических задач, где изменения в системе можно представить в виде ряда ее чередующихся состояний. Переходные вероятности между состояниями описывают Марковскую цепь. Структура данных в этом процессе представляется в виде матриц, элементы которых могут в самом общем виде изменятся при переходе из одного состояния в другое. В настоящем случае рассматриваются стационарные данные, представленные в матрице переходных вероятностей P и матрице доходов R.
Рассмотрим матрицу переходных вероятностей:
|
|
Состояние системы на следующем этапе | |||
|
Текущее состояние системы |
|
x |
y |
z |
Р1 = |
x |
0,3 |
0,6 |
0,1 | |
|
y |
0,1 |
0,5 |
0,4 | |
|
z |
0 |
0,6 |
0,4 |
Матрица переходных вероятностей отражает вероятности перехода системы из одного состояния в другое. Так если в данный момент система находится в состоянии «у», то вероятность того, что на следующем этапе она перейдет в состояние «z» равна 0,4.
Переходные вероятности могут быть изменены путем организации каких-либо мероприятий. Так, например, если представленная выше матрица переходных вероятностей характеризует спрос, то при применении различных мероприятии по стимулированию спроса (организация рекламной компании) эта матрица может принять следующий вид:
|
|
Состояние системы на следующем этапе | ||||
|
Текущее состояние системы |
|
x |
y |
z |
|
Р2 = |
x |
0,1 |
0,6 |
0,3 |
| |
|
y |
0,05 |
0,2 |
0,75 |
| |
|
z |
0,1 |
0,2 |
0,7 |
|
С каждой матрицей переходных вероятностей P связывают матрицу доходов R, которая определяет прибыль или убыток в зависимости от состояний, между которыми осуществляется переход.
В настоящем случае матрицы R1 и R2, соответствуют матрицам переходных вероятностей P1 и P2.
R1 = |
|
x |
y |
z |
x |
4 |
3 |
1 | |
y |
0 |
2 |
5 | |
z |
-2 |
-1 |
2 |
R2 = |
|
x |
y |
z |
x |
1 |
4 |
6 | |
y |
-1 |
2 |
6 | |
z |
-2 |
-1 |
0 |
Элементы матриц учитывают затраты, связанные с проведением рекламной компании. Соответственно, доход или убыток будет изменяться в зависимости от принятого решения.
Лицо, принимающего решения, может также интересовать оценка ожидаемого дохода при заранее определенной стратегии поведения в случае того или иного состояния системы. При этом говорят, что процесс принятия решений описывается стационарной стратегией.
Целью решения задачи является нахождение оптимальной стратегии, максимизирующей ожидаемый доход. Следует отметить, что структура марковского процесса позволяет моделировать его на основе модели динамического программирования. При этом период прогнозирования может иметь конечное или бесконечное число этапов.