12. Управление переходом организма из исходного состояния в конечное в условиях неопределенности.

До сих пор мы рассматривали детерминированную модель (аналитическое представление закономерности, операции и т.п., при которых для данной совокупности входных значений на выходе системы может быть получен единственный результат.) динамического программирования. В реальной жизни как на состояние системы, так и на целевую функцию влияют случайные факторы, и поведение системы зависит не только от начального состояния S₀ и выбранного управления x, но и от случайности.

Рассмотрим стохастическую (т.е. случайную) модель задачи о кратчайшем пути на ациклической сети. Допустим существование в системе условных вероятностей P (S_i / S_i−1 , x_i ) того, что на i-м шаге управления система перейдет в состояние Si при условии, что до этого она находилась в S_i−1 и было применено управление x_i . Это условие представляет собой допущение о марковском свойстве системы, согласно которому вероятность перехода системы в какое-либо состояние Si зависит только от состояния S_i−1 , из которого совершается переход, и от применяемого управления x_i , но никак не зависит от предыстории системы, предшествующей ее переходу в S_i−1.

Таким образом, теперь управляющее воздействие x_i на 1-м шаге управления может лишь изменить вероятности перехода из данного состояния S_i−1 в другие состояния S_i . Теперь, находясь в каком-либо состоянии и применяя некоторое управление, можно говорить только о средних затратах времени достижения конечного состояния, которые вычисляются как взвешенные по соответствующим вероятностям затраты, рассмотренные по всем возможным из данного состояния траекториям. В этом случае, очевидно, задача заключается в нахождении такого множества оптимальных управлений (по одному для каждого состояния), которое дает минимальное среднее значение времени перехода из S₀ в S_m .

Применение принципа оптимальности к таким задачам приводит к стохастической модели динамического программирования. Пусть обозначает конкретное состояние системы, в которое она переходит на i-м шаге, – временные затраты на перевод организма в состояние на i-м шаге из состояния .

Рис. 4

Допустим, что для части сети (рис. 4) известны условные минимальные средние временные затраты _i+1 (S_i ) на достижение конечного состояния из Si (Si ∈{ , }). На рис. 4 через p₁, p₂, …, p_n обозначены условные вероятности перехода

p_j = P ( | S_i−1, x_i ), причем

Если, например, находясь в состоянии S_i−1 , мы применяем управление x_i , то средние затраты времени _i (S_i−1 | xi ) на достижение конечного состояния из S_i−1 равны

Так как вариантов управления на i-м шаге может быть несколько, т. е. xi может принимать разные значения xi ∈{ , }, выберем то из них, при котором _i (S_i−1|x_i) становится минимальным. При этом стохастическое обобщение основного рекуррентного уравнения (см. в предыдущем вопросе его) имеет вид

или в развернутой форме

Поскольку применяются условные вероятности, то

Далее следуют примеры:

Пример 2.3. на странице 48 в печатной методе и 49 в электронной

Пример 2.4. на странице 51 в печатной методе и 52 в электронной