Методичка

21

5. Произвести условную оптимизацию последнего (m-го) шага, задаваясь множеством состояний Sm−1 , из которых можно за один шаг дойти до конечного состояния, вычисляя для каждого Sm−1 условный оптимум целевой функции по формуле

и находя условное оптимальное управление xm (Sm−1 ), для которого этот минимум достигается.

6. Произвести условную оптимизацию (m-1)-го, (m-2)-го и т.д. шагов по формуле (2.2), полагая в ней i = (m −1)(, m − 2),K, и для каждого из шагов указать условное оптимальное управление xi (Si−1 ),при котором достигается минимум.

Так как начальное состояние системы S0 одно и оно известно, то на первом шаге варьировать состояние системы не нужно, оптимальное значение целевой функции для S0 находится непосредственно. Это и есть оптимум функции цели за весь процесс перевода,

W =W1 (S0 ).

7. Произвести безусловную оптимизацию управления, учитывая выработанные ранее рекомендации на каждом шаге. На первом шаге оптимальное шаговое управление x1* = x1 (S0 ). Пользуясь (2.1), находим изменившееся состояние системы S1 , для него определяем оптимальное управление на втором шаге x2 и т.д.

до конца.

2.2. Управление переходом организма из начального в конечное состояние при наличии промежуточных состояний

Управляемый процесс перевода системы G из начального S0 в конечное Sm

состояние можно интерпретировать как процесс лечения, который переводит организм человека из состояния "болен" в состояние "здоров", или процесс нормализации состояния человека-оператора, переводящий организм из состояния "не норма" в состояние "норма". Если при этом реализуется возможность выделения конечного множества состояний организма, являющихся промежуточными между

22

S0 и Sm , и можно описать шаговые управления, переводящие организм из состояния в состояние, то для оптимизации процесса лечения или нормализации состояния может быть применен метод динамического программирования. С помощью этого метода может быть заранее рассчитана оптимальная траектория перевода организма из S0 в Sm .

В качестве критериев оптимизации, т.е. целевых функций W могут выступать следующие, время лечения (нормализации состояния, выздоровления, вывода из опасного состояния и т.п.), токсичность применяемых медикаментов - "вредность" лечения, его стоимость, вероятность благоприятного исхода, риск осложнений и др. Для реальных задач предпочтительнее использовать одновременно несколько критериев, но это приводит к более сложным процедурам многокритериальной оптимизации. Далее в примерах мы будем использовать лишь один аддитивный критерий - время лечения или нормализации состояния.

Одна из известных задач, рассмотренная в [6,7] под названием выбора наивыгоднейшего пути между двумя пунктами (или наиболее экономного набора скорости и высоты летательным аппаратом), в применении к процессу лечения может быть сформулирована следующим образом. Имеется два заболевания B1 и

B2 , каждое из которых состоит из n последовательных стадий болезни: 1-й, 2-й,..., n -й. Стадия n - это "норма", а стадия 1 - наибольшая выраженность заболевания. За один шаг лечения посредством направленных лечебных воздействий можно изменить (увеличить) стадию только одного заболевания на 1. Условия задачи иллюстрирует рис.2.3, где при n = 5 все возможные состояния пациента задаются узлами построенной прямоугольной сетки. Для задания значений целевой функции на отрезках прямых, соединяющих узлы сетки, должны быть проставлены числа, равные времени перевода организма из состояния в состояние. Траектория перевода организма из S0 в Sm будет иметь вид ступенчатой линии. Требуется найти такую траекторию, при которой общее время лечения будет минимальным. Решение этой задачи рассмотрим в виде следующего конкретного примера.

Пример 2.1. У оператора два показателя жизнедеятельности B1 и B2 вышли за пределы нормы. С помощью управляющих воздействий эти показатели можно привести в норму. Каждый из показателей измеряется в порядковой шкале и

В1

Рис.2.4

Из рисунка видно, что число шагов при переводе организма из состояния S0 в

S8 всегда равно 8. Требуется выбрать такой путь из S0 в S8 , для которого сумма чисел, стоящих на отрезках, составляющих этот путь, минимальна. В соответствии с пп.4,5 и 6 вышеописанной процедуры решения задач динамического программирования и следуя ходу решения таких задач, изложенному в [6], произведем условную оптимизацию, начиная с последнего, 8-го шага. Рассмотрим правый угол нашей сетки (рис.2.5). После 7-го шага организм может находиться

26

промежуточные состояния организма описывались с помощью прямоугольной сетки. В общем случае это не обязательно. Множество состояний и возможные переходы из состояния в состояние можно задать и в виде ориентированного графа. В этом случае задачи управляемого перевода организма из одного состояния в другое можно представить как поиск кратчайшего пути на ориентированной ациклической (т.е. без петель и контуров) сети [12]. Решаются такие задачи точно так же, как и на прямоугольной сетке. Заметим, что использованная нами для решения прямоугольная сетка также является ориентированной ациклической сетью, если на ее отрезках проставить стрелки всех возможных управлений. Ниже приведен пример задачи, описываемой в виде сети.

Пример 2.2. Решается задача управляемого перевода организма G из исходного состояния S0 в конечное состояние S4 (лечение или нормализация состояния оператора). При этом существует 8 промежуточных состояний S1' , S1'' , S1''' , S2' , S2'' , S2''' , S3' , S3'' , а возможные переходы из состояния в состояние изображены на рис.2.8 в виде ориентированного графа. На ребрах графа проставлено время, требуемое для перевода организма из одного состояния в другое. Предполагается, что выбор маршрута переходов их состояния в состояние полностью управляем. Требуется определить оптимальную траекторию перевода организма из S0 в S4 , при которой общее время этого перевода будет минимально.

Рис.2.8

Начнем решение этой задачи с перечисления шаговых управлений, начиная с последнего шага и указывая результат этого управления. Запись xi ={Sk → S j }будет означать, что управление xi (на i–м шаге) переводит G из Sk в S j .

27

Для каждого шага запишем временные затраты wi в функции от состояния на предыдущем шаге и шагового управления. Обозначим их в соответствии с

Запишем основное рекуррентное уравнение динамического программирования, используемое для условной оптимизации. Согласно (2.2), оно имеет вид

Wi (Si−1 )= min{wi +Wi+1 (Si )}

xi

Проведем условную оптимизацию, начиная с последнего, 4-го шага. Согласно

(2.3)

W4 (S3 )= min{w4 }

x4

Перед 4-м шагом состояние G может быть либо S3' , либо S3'' . В обоих случаях оптимальное шаговое управление – это перевод G в S4 . Значения условного оптимума целевой функции равны, соответственно

W4 (S3' )= w4(1) = 6,

W4 (S3'' )= w4(2) = 5.

Далее оптимизируем предпоследний, 3-й шаг. Для него

28

W3 (S2 )= min{w3 +W4 (S3 )}

x3

Если перед этим шагом G находился в состоянии S2' , имеем две возможности перевода G в S4 : либо через S3' (это займет 8 + 6 = 14 единиц времени), либо через S3'' . В последнем случае временные затраты равны 4 + 5 = 9,

поэтому этот вариант следует предпочесть и считать, что минимальное время достижения конечного состояния из S2' равно 11 единицам. Формально в случае,

если S2 = S2' , то имеется два управления x3(1) и x3(2) и условный оптимум целевой

функции

W3 (S2' )= min{[w3(1) +W4 (S3' )], [w3(2) +W4 (S3'' )]}= min{[8 + 6], [4 +5]}= 9,

Если перед 2-м шагом G находился в состоянии S1' , то x2 {x2(1), x2(2)}, поэтому

W2 (S1' )= min{[w2(1) +W3 (S2' )], [w2(2) +W3 (S2'' )]}= min{[11 +9], [4 +9]}=13,

и условное оптимальное управление для состояния S1' равно x2 (S1' )= x2(2).

Аналогично проводятся расчеты и для других предыдущих состояний этого шага, а

29

На рис.2.9 стрелками показаны все условные оптимальные управления, а в кружочках проставлены значения условного минимума для всех состояний. Это то минимальное время, которое требуется для достижения S4 . Из рис.2.9 видно, что существует две различные оптимальные траектории, переводящие G из S0 в S4 .

Они могут быть записаны в виде следующих двух цепочек

S0 → S1' → S2'' → S31 → S4 ; S0 → S1'' → S2' → S3'' → S4

и эквивалентны по временным затратам (16 единиц).

Рис.2.9

2.3. Управление переходом организма в нормальное состояние в условиях неопределенности

До сих пор мы рассматривали детерминированную модель динамического программирования. В реальной жизни как на состояние системы, так и на целевую функцию влияют случайные факторы. В этом случае поведение системы зависит не только от начального состояния S0 и выбранного управления x , но и от случайности. Рассмотрим стохастическую модель задачи о кратчайшем пути на ациклической сети [12]. Допустим существование в системе условных вероятностей

Ρ(Si / Si−1 , xi ) того, что на i-м шаге управления система перейдет в состояние Si при

30

условии, что до этого она находилась в Si−1 и было применено управление xi . Это условие представляет собой допущение о марковском свойстве системы, согласно которому вероятность перехода системы в какое-либо состояние Si зависит только от состояния Si−1 , из которого совершается переход, и от применяемого управления xi , но никак не зависит от предыстории системы, предшествующей ее переходу в

Si−1 .

Таким образом, теперь управляющее воздействие xi на 1-м шаге управления может лишь изменить вероятности перехода из данного состояния Si−1 в другие состояния Si . Теперь, находясь в каком-либо состоянии и применяя некоторое

управление, можно говорить только о средних затратах W времени достижения конечного состояния, которые вычисляются как взвешенные по соответствующим вероятностям затраты, рассмотренные по всем возможным из данного состояния траекториям. В этом случае, очевидно, задача заключается в нахождении такого множества оптимальных управлений (по одному для каждого состояния), которое дает минимальное среднее значение времени перехода из S0 в Sm .

Применение принципа оптимальности к таким задачам приводит к стохастической модели динамического программирования. Пусть Si(j ) обозначает конкретное состояние системы, в которое она переходит на i-м шаге, wik(j ) -

временные затраты на перевод организма в состояние Si(j ) на i-м шаге из состояния

Si(−k1) . Допустим, что для части сети (рис.2.10) известны условные минимальные