5.4. Детерміновані та стохастичні задачі дп
Багатоетапні процеси, що розглядалися
вище, характеризувалися тим, що результат
будь-якого рішення однозначно визначався
вибором розв’язку. Процеси такого типу
називаються детермінованими. Для
детермінованої моделі
-етапного
процесу стан системи
(i=1,2,…,
)
на кожному етапі задається вектором з
однією або декількома компонентами.
Перетворення вектора стану від етапу
до етапу здійснюється внаслідок дії
на нього вектором управління
,
тобто
(
;
)
є функцією вектора стану і вектора
управління на кожному етапі. Послідовність
перетворень, починаючи з
-го
етапу і закінчуючи першим, можна записати
так:
=
(
;
),
=
(
;
)
(5.20)
………………………,
= ( ; ).
Якщо кожну попередню рівність (5.20)
підставити в наступну, то одержимо
кінцевий стан системи
,
що виражається через початковий стан
системи
:
=
(
(…(
(
;
))…))).
(5.21)
Таким чином, існує послідовність векторів , , … , , що відповідає послідовності перетворень (5.20), яка називається поведінкою, або стратегією. Якщо перетворення вибрані в відповідності з певними критеріями, то множина оптимізуючих векторів управління називається оптимальною стратегією, або оптимальною поведінкою.
Тепер задачу максимізації повного доходу в -етапному процесі можна записати в наступному вигляді: знайти максимальне значення функції
W=
де g
(
;
)
– дохід від i-го етапу, що є функцією
вектора стану
і
вектора управління
,
W – загальний дохід.
Визначивши функцію ( ) як максимальний дохід в -етапному процесі, починаючи з стану ( =1,2, … ) при використанні оптимальної стратегії отримуємо
(
)=
Звідси, дотримуючись принципу оптимальності, приходимо до розглядуваних раніше функціональних рівнянь:
f
(
)=
f
(
)=
(5.22)
f
(
)=
(5.23)
Необхідно відзначити, що в усіх розглянутих
випадках загальний дохід
має властивість адитивності, оскільки
значення
досягнуте за весь процес, ми отримували
сумуванням його значень на певних
етапах.
Нехай тепер на стан системи впливають випадкові фактори. В таких задачах управління процес не повністю визначається початковим станом системи і вибраним управлінням, а в деякий момент залежить від випадку. Такі задачі називаються стохастичними.
Стохастичні задачі мають місце тоді, коли: не можна точно визначити стан системи на кожному етапі; змінні, що характеризують стан системи, є випадковими величинами з відомою функцією розподілу; змінюється мета задачі; складається планування на тривалий період, оскільки в цьому випадку неможливо вказати значення всіх нормативів і коефіцієнтів, які змінюються під впливом непередбачуваних факторів, і т.д.
Для знаходження оптимального розв’язку
багатоетапних екстремальних стохастичних
задач з адитивними критеріями можна
використати метод ДП. В стохастичній
моделі перехід від
-го
етапу до (
)-го
містить деяку невизначеність. В результаті
перетворення
(
;
)
невідомий вектор стану S
переходить
в випадковий вектор стану
з функцією розподілу G(
;
;
),
яка залежить від відомого стану
,
випадкового стану
і управління
.
Тому, перш ніж приймати рішення на (
)-му
етапі, вважають, що дійсне значення
вектора стану
спостерігалось і є відомим.
Для стохастичного процесу, як і для детермінованого, можна схематично записати послідовність перетворень:
=
(
;
),
=
(
;
),
……………………,
=
(
;
),
але не можна за допомогою оберненої підстановки, як це було для детермінованих процесів, виразити кінцевий стан системи як функцію початкового. Це обумовлено тим, що результати перетворень відомі тільки після безпосереднього спостереження.
Величини є випадковими, тому їх використання дає невизначений результат для з’ясування величини критерію.
Функція
W=
,
як функція випадкових величин також є випадковою величиною, тому не може йтися про оптимальність. В зв’язку з цим за міру якості приймають деяку середню характеристику можливих результатів – математичне сподівання. Нехай
(
)=
=
,
(5.24)
звідки для дискретного випадку маємо
f
(
)=
,
(5.25)
де
(j=1;
2; …; m)
– ймовірності
дискретних станів, які може приймати
випадковий вектор
,
0
,
Більш детально стохастичні задачі розглянемо в наступному розділі.