3. Примеры принятия решений с помощью марковских цепей

Как указывалось выше, простота и наглядность математического аппарата ДМЦ позволяет эффективно использовать его для принятия решений. При этом можно выделить два подхода:

• статический (одношаговый), когда на основании матема-тической модели, описывающей поведение системы в какой-либо момент времени на одном шаге, получают функциональные зависимости показателя эффективности от управляемых переменных (целевую функцию). Далее путем обычных процедур программирования получают оптимальные значения управляемых переменных, обеспечивающих получение максимального эффекта.

• динамический (многошаговый), когда проигрывается поведение системы на протяжении планируемого периода и определяется оптимальная стратегия (стохастическое динамическое программирование).

Рассмотрим сначала примеры первого типа.

Пример 8.1. Лесопосадки.

Допустим, что требуется оценить эффективность лесопосадочной операции и принять решение по ее повышению. В данном случае система включает лесопосадочную машину (ЛПМ) и набор саженцев (С), которые необходимовысадить на делянке с учетом требований технологии. В каждом шаге операции примем одну рабочую смену - 6 час.

Предположим, что начало работы машины и подготовки саженцев происходит с одной и той же вероятностью p (причем отказ равен q=1-p ). Очевидно, что после успешного начала работы ЛПМ могут произойти следующие случайные события:

В₁ - посадка всех саженцев произошла успешно и ЛПМ в конце работы исправна (цель операции достигнута);

В₂ - во время работы ЛПМ произошел отказ, который может быть устранен на месте (обычно время восстановления лимитируется 30 мин.);

В₃ - во время работы машины произошел неустранимый отказ и она должна быть заменена;

В₄ - при исправной работе машины из-за нарушения технологии посадка саженцев произведена некачественно и требуется пересев;

В₅ - из-за неисправной работы машины посадка произведена некачественно.

Вероятность указанных условных событий (при условии успешного начала - p) обозначим:

, ; (8.27)

а поскольку они несовместны и образуют полную группу, то

. (8.28)

В результате реализации событий В_i [i=1,2,...,5] используемый процесс в любой момент времени может находиться в одном из следующих состояний

А₁ - посадка произведена успешно и в конце дня ЛПМ исправна;

А₂ - вследствие устранения отказа посадка произведена не пол-ностью. Исходя из допустимого времени устранения, можно полагать, что план не выполнен примерно на 15-20% ;

А₃ - план не выполнен, требуется замена машины;

А₄ - план не выполнен, требуется новый комплект саженцев, ма-шина исправна;

А₅ - требуется новый комплект саженцев и исправная машина.

Последнее состояние, по существу, является начальным. Если предположить, что состояние системы в начале каждого рабочего дня связано только с результатом предыдущего и вероятностным образом связано с ним то можно считать, что рассматриваемая операция представляет собой простую дискретную марковскую цепь. Кроме того, предположим, что переходные вероятности такой цепи не зависят от номера испытания (шага), то есть цепь является однородной. Из анализа состояний видно, что в состоянии А₁ процесс останавливается (цель операции достигнута), т.е. оно является поглощающим.

Таким образом, согласно принятым допущениям модель рассматриваемой операции представляет собой простую однородную поглощающую дискретную марковскую цепь с пятью состояниями. Переходные вероятности такой цепи определим с помощью алгебры событий:

Соответственно, матрица перехода будет иметь вид:

А₁ А₂ А₃ А₄ А₅

(8.29)

В соответствии с приведенным выше математическим аппаратом матрица (8.29) может быть представлена в каноническом виде:

, (8.29а)

где, в данном случае,

 - одноэлементная единичная под-матрица;

 - нулевая вектор.строка;

- вектор-столбец, описывающий переходы из невозвратных в эргодические состояния.

Подматрица Q, описывающая процесс переходов в системе до выхода из невозвратного множества состояний выделена двойным пунктиром в матрице (8.29).

Как было сказано выше, после представления переходной матрицы в каноническом виде (8.29а), можно определить ряд характеристик, с помощью которых составляется целевая функция и принимается решение. В качестве критериев в данном случае могут фигурировать:

1. вероятность успешного проведения операции при заданном расходе средств на ее проведение Р(С₂) - (прямая задача);

2. необходимое (гарантированное) количество средств, обеспечивающее проведение работы с заданной вероятностью;

3. математические ожидания и дисперсии случайных расходов средств на операцию.

Рассмотрим в качестве критериев средние значения количеств ремонтов (или замен) ЛПХ - m_z1 и комплектов саженцев m_z2. Кроме того, в расходы войдут: стоимость частичного ремонта ЛПХ, а также расходы, связанные с дополнительным высевом саженцев при попадании в состояние А₂.

Таким образом, если задать величины расходов, связанные с попаданием в то или иное состояние (А₂, А₃, А₄, А₅) и опре-делить среднее число раз попадания в эти состояния, то в целом будут определены расходы на операцию.

Представим таблицу (или матрицу) расходов в виде:

Состояния	А2	А3	А4	А5
Расходы	Счр + 0,2Сс	Стр	Сс	Стр+ Сс

где

С_чр , С_тр - соответственно, стоимость частичного или полного ремонта трактора;

С_с - стоимость комплекта саженцев и их посадки.

Среднее количество раз попадания в то или иное состояние (до поглощения) определится, как указывалось с помощью фундаментальной матрицы (стр. ). При этом надо иметь в виду, что, поскольку в данном случае процесс начинается только с состояния А₅ , то вычислять надо не все элементы матрицы (8.7), а лишь члены последней строки, т.е. m₄₁, m₄₂, m₄₃ и m₄₄.

В буквенном выражении все элементы матрицы (8.7) представляют довольно сложные выражения, поэтому далее приведем конкретный числовой пример:

Пусть значения r_i будут равны: r₁ = 0,77; r₂ = 0,1; r₃ = 0,05; r₄ = 0,04; r₅ = 0,03; р = 0,8.

Тогда после вычислений матрица (8.7) будет иметь вид:

. ( 8.30)

Тогда среднее число замен посадочного материала и трактора будет равно, соответственно:

m_с = m₄₂ + m₄₄ = 1,296;

m_тр = m₄₃ + m₄₄ = 1,375;

а с учетом стоимости комплекта саженцев и материала:

Се = 1,296 С_с + 1,375С_тр (8.31)

Полученное выражение (8.31) позволяет решить три задачи:

1. Определить, соответствуют ли расходы на операцию располагаемым;

2. Произвести выбор оптимальных значений r_i , обеспечивающих min Се ;

3. Оценить степень влияния каждой вероятности r_i на эффек-тивность операции и наметить мероприятия по ее провышению.