35. Багатокроковий процес прийняття рішень

Динамічний процес поділяється на сукупність послідовних етапів або кроків. На кожному етапі оптимізується тільки один крок, а рішення, під впливом якого система переходить з поточного стану в новий, вибирається з врахуванням його наслідків у майбутньому і не завжди дає найбільший ефект на даному етапі. Плануючи багатокроковий процес, необхідно обирати управління на кожному кроці з урахуванням його майбутніх наслідків на тих кроках, які ще попереду. Лише на останньому кроці можна прийняти рішення, яке дасть максимальний ефект, оскільки наступного кроку для нього не існує. Тому оптимізація методом динамічного програмування починається з кінця, тобто спочатку планується останній крок. Таким чином, в процесі оптимізації управління методом динамічного програмування багатокроковий процес виконується двічі. Перший раз – від кінця до початку, в результаті чого знаходять так звані умов­но-оптимальні управління і умовно-оптимальні виграші для всіх кроків. Другий раз – від початку до кінця, в результаті чого знаходять вже оптимальні покрокові управління, тобто оптимальне управління процесом у цілому.

Алгоритм розв’язування задач динамічного програмування можна описати такою послідовністю операцій:

1. Визначають специфічні показники стану досліджуваної керованої системи і множину параметрів, що описують цей стан. Стан системи описується у такий спосіб, щоб можна було забезпечити зв’язок між послідовними етапами розв’язання задачі і мати змогу одержати допустиме рішення задачі в цілому як результат оптимізації на кожному кроці окремо, а крім того, приймати оптимальні рішення на наступних етапах без урахування впливу майбутніх рішень на ті, що були прийняті раніше.

2. Поділяють процес на етапи (кроки), які, як правило, відповідають певним періодам планування динамічних процесів, або окремим об’єктам (підприємствам, видам продукції, устаткуванню тощо) у разі підготовки рішень стосовно керування ними.

3. Формулюють перелік управлінь для кожного кроку і відповідні обмеження щодо них.

4. Визначають ефект, який забезпечує управління на j–му кроці, якщо перед тим система була у стані S, у вигляді функції ефективності:

.

5. Визначають, як змінюється стан S системи під впливом управління на j-му кроці, тобто як здійснюється перехід до нового стану:

.

6. Будують рекурентну залежність задачі динамічного програмування, що визначає умовний оптимальний ефект починаючи з j–го кроку і до останнього, через вже відому функцію

.

Цьому ефекту відповідає умовне оптимальне управління на j-му кроці Зауважимо, що у функції необхідно замість врахувати змінений стан системи, тобто

7. Використовують умовну оптимізацію останнього n-го кроку, визначаючи множину станів S, з яких можна за один крок дійти до кінцевого стану. Умовно-оптимальний ефект на n-му кроці обчислюють за формулою:

Потім знаходять умовно-оптимальне управління в результаті реалізації якого цей максимум буде досягнуто.

8. Проводять умовну оптимізацію -го, -го та інших кроків за рекурентними залежностями (див. п. 6) і визначають для кожного кроку умовно-оптимальне управління:

9. Проводять безумовну оптимізацію управління у «зворотному» напрямку від початкового стану до кінцевого. Для цього з урахуванням визначеного оптимального управління на першому кроці змінюють стан системи згідно з пунктом 5. Потім для цього нового стану знаходять оптимальне управління на другому кроці і аналогічно ці дії повторюють до останнього етапу (кроку).

В результаті знаходять оптимальне покрокове управління , що забезпечує максимальну ефективність Z^*.

Приклад 1. Планується діяльність двох підприємств і . Початковий загальний обсяг інвестицій складають x гривень. Інвестування підприємства в обсязі y дозволяє на кінець року отримати прибуток , а сам обсяг інвестицій зменшуються до величини . Аналогічно, інвестування підприємства в обсязі дозволяє на кінець року отримати на цьому підприємстві прибуток , а сам обсяг інвестицій зменшуються до величини (табл. 10). Необхідно розподілити інвестиції між підприємствами на кожен рік таким чином, щоб повний прибуток за три роки їх діяльності був максимальним.

Підприємство	Обсяг інвестицій	Прибуток	Залишок інвестицій
П1	y	(y)=3y	(y)=0,3y
П2	x–y	(x–y)=2(x–y)	(x–y)=0,7(x–y)

Розв’язання. Період часу 3 роки розділимо на 3 етапи і поставимо у відповідність кожному року один етап. Схематично розподіл інвестицій між 2-ма підприємствами зображено на рис. 4.

III етап. Знаходження оптимального розв’язку починаємо з 3-го року, на початок якого потрібно розподілити залишок інвестицій . Для цього Складемо вирази для прибутку за 3-й рік та повного прибутку за третій етап .

,

.

Рис. 4.

Оскільки функція лінійна, то вона досягає максимуму на одному з кінців відрізка

при ,

при .

Тоді

.

Отже, максимальний прибуток на кінець 3-го року буде досягнуто, якщо усі інвестиції, що залишились на кінець 2-го року, вкласти у розвиток 1-го підприємства.

II етап. Знаходимо прибуток за 2-й рік

,

та повний прибуток за другий і третій роки

Знайдемо суму залишків інвестицій на кінець 2-го року

.

Тоді

.

Вираз у фігурних дужках є лінійною функцією і досягає максимуму на кінцях відрізка . Маємо

при : ;

при : .

Тоді

.

Отже, максимальний прибуток на кінець 2-го року буде досягнуто, якщо усі інвестиції, що залишились на кінець 1-го року, вкласти у розвиток 2-го підприємства.

I етап. Знаходимо прибуток за 1-й рік

,

та повний прибуток за три роки

Знайдемо суму залишків інвестицій на кінець 1-го року

.

Тоді

Досліджуємо вираз у фігурних дужках на кінцях відрізка :

при : ;

при : .

Тоді

.

Отже, максимальний прибуток на кінець 1-го року буде досягнуто, якщо усі початкові інвестиції вкласти у розвиток 2-го підприємства.

Результатом розв’язання задачі є стратегія оптимального розподілу інвестицій між двома підприємствами на протязі 3-ох років (див. табл. 11). При реалізації такого розподілу інвестицій між двома підприємствами буде отриманий максимальний прибуток в обсязі (приймемо початковий обсяг інвестицій в обсязі x=1000000 грн.)

(грн.).