5.4.2. Многошаговые схемы принятия решений

Многошаговый процесс принятия решений характеризуется особенностями, которые выходят за рамки описанного одношагового процесса. В общем случае объем влияющей на решение информации возрастает с течением времени. При принятии ре­шений в области конструирования новая информация получает­ся или из результатов параллельно проводимых исследований, или благодаря появлению изобретений, которые стимулируют создание нового оборудования. Всякое исследование с этой точ­ки зрения, безусловно, лучше рассматривать в момент, как можно более близкий к его завершению и реализации. Если, например, мы имеем дело с неточно известным состоянием ис­ходных данных , которое в момент времени находится в диа­пазоне , то относительно имеющего место для более позднего момента диапазона изменения этого состояния в среднем справедливо неравенство . Отсюда следует, что решение нужно принимать не ранее, чем это необходимо, чтобы обеспечить наиболее вы­сокий уровень информированности. Беляев в этой связи го­ворит о «принципе минимальной заблаговременности». Разуме­ется, решение нельзя принимать и позже, чем это необходимо. Неблагоприятные последствия в этом случае могут быть даже значительно тяжелее, чем при слишком рано принятом реше­нии. В принципе при многошаговых процессах принятия реше­ния имеются различные типы стратегий. Выбор стратегии опре­деленного типа делается прежде всего исходя из соображений точности, оценки затрат, а также простоты использования не­которой в известном смысле оптимальной стратегии. Для по­лучения общей формулировки примем, что процесс имеет шагов, причем каждый шаг характеризуется начальным со­стоянием , вариантом решения и конечным состоянием , .

При этом пусть на -м шаге реализуется промежуточный ре­зультат , а общий результат -шагового про­цесса аддитивен и складывается из промежуточных резуль­татов:

(5.3)

Под состояниями будем понимать в общем случае случай­ные величины, которые мы будем обозначать прописными бук­вами , . Далее примем, что переход от некото­рого наблюдаемого состояния путем выбора варианта реше­ния к состоянию осуществляется с соответствующей ве­роятностью

, .

Справедливы также равенства

и ,

причем суммирование проводится по всем возможным состояниям на -м шаге.

Управление процессом происходит теперь в соответствии со стратегией . Под нею мы понимаем последовательность опти­мальных функций управления («решающих функций») , с использованием которых на -м шаге для имеющего место состояния исходных данных посредством однозначным образом определяется вариант реше­ния , . В более общем случае можно также полагать, что значения решающих функций зависят от всего хода процесса до каждого соответствующего шага, то есть от , однако для упрощения рассмотрения огра­ничимся более простым и, кроме того, наиболее часто встречаю­щимся на практике случаем, указанным выше, когда зависит только от наблюдаемого состояния .

При управлении процессом посредством стратегии из-за случайности появления состояний на отдельных шагах процесса получается случайный итого­вый результат:

. (5.4)

В большинстве случаев мы имеем дело с определенным не­случайным начальным состоянием . В общем случае, однако, начальное состояние также случайно и реализуется с вероятностью

.

Первый вариант установления оптимальной стратегии осно­вывается на применении так называемых -стратегий ( – англ. ореn loop – разомкнутый контур). Здесь в качестве стра­тегий используют просто определенную числовую последова­тельность и вычисляют затем среднее зна­чение

. (5.5)

При расчете по формуле (5.5) мы исходим из справедливого» для всех соотношения

(5.6)

,

причем – применяемая -стратегия.

Отсюда следует

. (5.7)

Суммирование здесь нужно производить по всем состояниям на данном шаге. Для слагаемых в (5.5) получаем

, (5.8)

откуда путем сложения по индексу от 0 до соглас­но (5.4) получается значение для при . Максимизация при управлении по принципу -стратегии со­стоит теперь в том, чтобы определить стратегию , для кото­рой (5.5) (и, следовательно, средний общий результат) оказы­вается максимальным:

. (5.9)

Такая оптимальная стратегия имеет то важное для практики свойство, что локально-оптимальные варианты решения определяются с самого на­чала. Случайные состояния исходных данных, выявляющиеся в процессе реализации выбора, при последующем определении переменных решения не учитываются независимо от того, воз­можен такой учет или нет, либо им сознательно пренебрегают. На другом полюсе возможных оптимальных стратегий ле­жат -стратегии (англ. closed loop – замкнутый контур), на­зываемые также -стратегиями (англ. feed back – обратная связь). Эти стратегии учитывают каждое реализуемое в ходе процесса состояние для установления последующих оптималь­ных решений.² Расчет самой стратегии, а также максимально достижимый средний результат получаются за счет использова­ния обратной связи при стохастической динамической оптими­зации. Снова исходят из того, что процесс имеет конечное число шагов и на -м шаге имеется конечное число состояний , которым соответствует также конечное число возможных решений . Индекс, относящийся к состояниям, принимает зна­чения в диапазоне , а относящийся к решени­ям – в диапазоне . В дальнейшем как для со­бытий на этапе , так и для функций перехода справедливы те же сформулированные выше предположения. Максимизируемой итоговой величиной, как в (5.5), снова является , с тем отличием, что теперь вместо -стратегий применяются обладающие наибольшей приспо­собляемостью -стратегии. Эти последние определяются по алгоритму стохастической динамической оптимизации следую­щим образом.

Шаг . Если к моменту наступает состояние , то оптимальный средний итоговый результат , то есть оптимальный средний результат на последнем шаге при оптимальном варианте решения выражается формулой:

. (5.10)

Шаги . Если к моменту наступает состоя­ние , то оптимальный средний итоговый результат , то есть оптимальный средний результат на шаге при оптималь­ном варианте решения ,

выражается формулой

. (5.11)

На шаге должно быть также реализовано начальное состояние с начальным распределением .

Принцип обратной связи в соотношениях (5.10) и (5.11) на­ходит выражение в том, что для расчета оптимальной приведен­ной функции затрат на шаге необходимы заранее опреде­ленные оптимальные приведенные функции затрат по всем состояниям -го шага. Этот расчет в обратном направлении обеспечивает, таким образом, определение для каждого шага оптимальной функции затрат , так что, собст­венно, в процессе управления, то есть при расчете в прямом на­правлении каждому достигаемому состоянию ставится в со­ответствие имеющийся оптимальный вариант решения . Средний оптимальный итоговый результат при оптималь­ной стратегии выражается формулой

. (5.12)

Различие оптимально достижимых средних итоговых величин в классе -стратегий, с одной стороны, и в классе -стратегий, с другой, обычно весьма значительно; при этом -стратегии дают существенно более высокие результаты, правда, ценой и существенно более высоких затрат. Промежу­точное положение занимают так называемые -стратегии. Их принцип состоит в том, чтобы на каждом шаге , исходя из реализованного состояния , рассчитать опти­мальный способ управления для оставшегося времени, руковод­ствуясь -стратегией

и только потом принять решение для следующего шага , благодаря чему процесс на следующем своем шаге приводит к новому состоянию . Этот образ действий повторяют, причем на каждом шаге рассчитывают оптимальную -стратегию и только в соответствии с ней принимают следующее решение. Достижимые с помощью -стратегии оптимальные резуль­таты оказываются значительно более высокими, чем при ис­пользовании -стратегии, и довольно близкими к результа­там, обеспечиваемым -стратегией. В особом случае, когда все подлежащие учету состояния исходных данных не случайны, а характеризуются единственным определенным значением на каждом шаге , это приводит к тому, что веро­ятности перехода вырождаются в «одноточечные» распределе­ния, то есть , независимо от вариантов реше­ния , и все типы стратегий становятся равноценными – нет никакой разницы, следовать ли - или -стратегии.