1.4. Детерміновані процеси

Якщо при оптимізації багатоетапного процесу результат будь-якого рішення визначався однозначно вибором цього рішення, то такий процес називається детермінованим.

Для детермінованого процесу N-етапного процесу стан системи Si (i = 1, ..., N) задається вектором. Перетворення вектора станів від етапу до етапу здійснюється впливом на нього вектора керування Ui, тобто Vi(Si; Ui). Послідовність перетворень, починаючи з N-го етапу і закінчуючи першим, можна записати

S_N-1 = V_N (S_N; U_N)

S_N-2 = V_N-1 (S_N-1; U_N-2) (1.24)

.....................................................

S_К = V₁ (S₁; U₁)

Якщо перші підставляти в наступні, то одержимо кінцевий стан S_k, виражений через початковий S_N:

S_k = V₁ (V₂(V₃(... V_N-1(V_N(S_N; U_N); U_N-1); U_N-2 ...) (1.25)

Послідовність векторів U_N, U_N-1, ..., U₁, що відповідають послідовним перетворенням (1.24), називається поведінкою або стратегією. Якщо перетворення обрані відповідно до якимось визначеного критерію, то такі перетворення називаються оптимальною стратегією або оптимальним поводженням.

Тоді задачу для N-етапного процесу можна записати max W = q_i (Si; Ui) або, слідуючи принципу оптимальності f_N(S_N) = max [q_N(S_N; U_N) + f_N-1(S_N-1)]

U_N

або f_N(S_N) = max {q_N(S_N; U_N) + f_N-1[V_N(S_N; U_N)]} (1.26)

U_N

f₁(S₁) = max q(S₁; U₁)

U₁

Зауваження. У всіх розглянутих задачах критерій W має властивість адитивності, тобто значення W, досягнуте за весь процес, є сумою його часних значень, отриманих на визначених етапах. У більшості задач Д.П. критерій адитивний. Якщо він не має цю властивість, то змінюють або самий критерій, або постановку задачі.

1.5. Стохастичні задачі динамічного програмування

Визначення: Якщо в задачі керований процес не цілком визначається початковим станом системи й обраного керування, а в якійсь мірі залежить від випадку, то такі задачі називаються стохастичними і ймовірностними.

Наприклад:

1) якщо не можна точно визначити стан системи на кожному етапі;

2) якщо змінні, що характеризують стан системи, є випадковими величинами з відомою функцією розподілу;

3) якщо змінюється ціль задачі;

4) якщо планування здійснюється на тривалий період, то в цьому випадку неможливо точно зазначити значення усіх нормативів і коефіцієнтів, оскільки вони можуть змінитися під впливом непередбачених причин і т.і.

Для рішення багатоетапних екстрем. стохастичних задач з адитивним критерієм можна використовувати метод Д.П. У стохастичній моделі перетворення від i-го етапу до (i-1)-го містить деяку непевність. У результаті перетворення V_i(S_i; U_i) відомий вектор стана S_i переходить у випадковий вектор стана

Z_i-1 із функцією розподілу G(S_i; Z_i-1; U_i). Тому, перед тим , як прийняти рішення на i-1 етапі, необхідно покласти, що дійсне значення вектора стана S_i-1 спостерігалося і відоме. Для стохастичного процесу, як і для детермінованого можна записати послідовність перетворень

Z_N-1 = V_N (S_N; U_N)

Z_N-2 = V_N-1 (S_N-1; U_N-2) (1.27)

.....................................................

Z_К = V₁ (S₁; U₁)

Але не можна висловити Z_k як функцію початкового Z_N. Це обумовлено тим, що результати перетворень відомі тільки після безпосередніх спостережень.

Величини Z_i - випадкові, тому і U_i теж випадкові в тому змісті, що їхнє застосування дає невизначений результат для розміру критерію.

Критерій W = q_i (S_i; U_i) як функція випадкових величин теж випадковий, тому говорити про його оптимальне значення не має сенсу. Тому в ролі критерію використовують деяку середню характеристику можливих результатів. Такою характеристикою є середнє арифметичне, тобто математичне чекання. Властивість лінійності дозволяє спростити функціональне рівняння (у силу адитивності), а властивість інваріантності , показує, що майбутні рішення засновуються тільки на стані системи в даний момент і не залежать від її передісторії.

f_N(S_N) = max M{ q_i [V_i (S_i; U_i), U_i]} =

= max M{ q_i (Z_i-1; U_i)]} (1.28 )

Тоді для дискретного випадку

f_N(S_N) = max { [q_N (S_(N-1)j; U_N) + f_N-1(Z_(N-1)]P_j (1.29)

де Pj (j = 1; ...; m) можливості m можливих дискретних станів, що може приймати випадковий вектор Z_N-1, 0 < Pj < 1 p_i = 1