5.3.4. Динамічне та стохастичне програмування

Динамічне програмування. Часто виникають ситуації, коли рішення можна прийняти тільки в декілька прийомів – крок за кроком. В цьому випадку слід застосувати апарат динамічного програмування. Однією з найтиповіших задач є розподіл капітальних вкладень, коли на кожному етапі розв’язується задача розподілу (фінансово-економічні системи). Слід встановити такий розподіл капітальних ресурсів на кожному етапі, за якого сумарний прибуток за всі етапи буде максимальним.

Розв’язок задач динамічного програмування базується на використанні принципу оптимальності, сформульованому американським математиком Р.Беллманом: якщо деяка послідовність розв’язків є оптимальною, то окремі подальші розв’язки всередині цієї послідовності є оптимальними по відношенню до попередніх розв’язків, або оптимальна стратегія розв’язку багато етапної задачі складається з оптимальних розв’язків для кожного окремого етапу. У відповідності з цим принципом задачу розв’язують починаючи з останнього етапу. Далі переходять до розв’язку відповідної задачі на попередньому етапі, відкидаючи можливі альтернативи, які суперечать вже відпрацьованому розв’язку.

Першими до появи динамічного програмування привели динамічні задачі управління запасами. Вони складають один з найчисельніших класів економічних задач. Правильне та своєчасне визначення оптимальної стратегії управління запасами, а також їх нормативного рівня дає змогу вивільнити значні обігові засоби, заморожені як запаси, що в кінцевому підсумку підвищує ефективність ресурсів, що використовуються.

Приклад

Нехай - обсяг капітальних вкладень, які слід розподілити між двома галузями. Кількість капітальних вкладень, вкладених в першу галузь, за рік приносить прибуток. Частка капітальних вкладень, вкладень в другу галузь, приносить дохід До кінця року ресурси, вкладені в першу галузь, складуть , в другу -. Із закінченням кожного року капітальні вкладення, що залишилися, заново розподіляються по галузям. Слід встановити розподіл таким чином, щоб сумарний прибуток за три роки був максимальним.

На початку шукаємо величину - обсяг засобів, вкладених протягом третього року, далі(відповідно другого та третього років). У відповідності з принципом оптимальності, знаючи залежність від величин, а також- обсяг ресурсів, отриманих на початок третього року, слід найкращим чином використати доступну кількість ресурсів, тобто розв’язати задачу

або

=

Очевидно, що максимум можливий за умови

Тобто, всі ресурси на останньому етапі слід спрямувати до першої галузі. За цих умов буде отриманий прибуток , далі знаходимоРозглянемо двох кроковий процес – останній та передостанній етапи. Слід найкращим чином використати ресурси, не беручи до уваги попередній розв’язок. Максимальний сумарний дохід на останніх двох етапах складає

де - дохід на передостанньому етапі;- максимальний дохід на останньому етапі.

Необхідно вибрати таке, щоб величинабула максимальною.

=

==

=

Звідки

Тобто на передостанньому етапі всі капітальні витрати також повинні спрямовуватися до першої галузі.

Аналогічно для першого етапу

=

==

=

У цьому випадку максимум досягається за умови , тобто найбільший сумарний дохід на всіх етапах. На першому етапі всі ресурси слід спрямувати в другу галузь:. Тобто отримана оптимальна стратегія

Перший етап: всі ресурси спрямовуються до другої галузі, дохід складе До закінчення року залишитьсякапітальних вкладень, які будуть спрямовані в першу галузь і дадуть дохід. Залишок ресурсів складе

Дохід на третьому етапі становитиме ; тоді сумарний дохід складе

Формально задача динамічного програмування (дискретного) має вигляд:

знайти

за умови

На параметри системи та її моделі можуть накладатися певні обмеження.

Стохастичне програмування. Детерміновані моделі математичного програмування часто виявляються неадекватними реальним процесам, які відбуваються в системі. Це пояснюється неточністю та імовірнісним характером показників, параметрів та обмежень, які накладаються на відповідні системи та їх моделі. Планування на основі найоптимістичніших прогнозів, факторів, які обумовлюють виробництво та споживання, часто виявляються неспроможними внаслідок відсутності резервів для корекції неув’язок, які виникають, якщо якась з ланок виробництва дає менше, ніж очікувалось за оптимістичним прогнозом. Доцільніше планувати за усередненими показниками, якщо їх розкид достатньо великий. В цьому випадку значення показників можуть значно відрізнятися від середніх значень, і запропонований план виявиться непридатним. Для розв’язку задач планування в умовах невизначеності розроблені спеціальні математичні моделі і методи – стохастичне програмування.

Приклад

Підприємство випускає типів продукції, використовуючитипів закупівельних виробів і матеріалів, причому заявка на постачання цих виробів оформляється до того, як точно відомі замовлення споживачів продукції, яка виробляється підприємством, є лише імовірнісний прогноз попиту споживачів. Після того, як попит споживачів уточнюється, складається план виробництва з врахуванням таких можливостей:

1. припускається додаткова закупівля покупних виробів за високими цінами;

2. припускається відмова від частини заявлених покупок, пов’язана з певним штрафом;

3. попит споживачів може бути задоволений неповністю, але за цих умов підприємство несе додаткові втрати у вигляді штрафів.

Нехай - норма витрати виробу (матеріалу)- го типу на виробництво одиниці продукції-го типу;- кількість заявленого ресурсу або матеріалу;- його ціна;- кількість додаткового закупівельного ресурсу;- його ціна;- величина частки ресурсу- го типу; від якого відмовляються;- штраф за відмову від одиниці ресурсу;- планований випуск продукції- го типу;- випадковий вектор попиту на продукцію, яка виробляється підприємством;- дохід від реалізації одиниці продукції- го типу;штраф за недопоставки одиниці продукції- го типу.

Така задача розв’язується в два етапи. На першому етапі вибирається вектор - заявки на необхідні виробництву ресурси, на другому етапі за умови, що величинавибираються змінні- визначаючі способи використання замовлених матеріалів та план виробництва.

Такі задачі оптимального планування називаються двох етапними задачами стохастичного програмування. Для побудови математичної моделі, адекватної описаній задачі, спочатку розглядають задачу другого етапу за умови фіксованого плану першого етапу . Побудована тут модель залежить не тільки від, але й від випадкового вектораВ цьому випадку необхідно розглядати математичне сподіванняфункції-критерію, тобто

Задача першого етапу полягає в тому, щоб вибрати план який дає змогу максимізувати. Хоча подібна задача є задачею випуклого програмування, проте неявний тип функції(як математичного сподівання) створює значні складнощі в обчисленні. Тільки якщо множина значень випадкового вектора є скінченною, то двох етапна лінійна задача стохастичного програмування приводиться до задачі лінійного програмування спеціального типу.

В загальному випадку лінійна стохастична двох етапна задача формулюється наступним чином.

Задається матриця з розмірністюсім’я матрицьз розмірністю, які залежать від випадкового параметра, векторта сім’ї векторіврозмірності відповідноДля кожного фіксованогорозглядувана задача записується у вигляді

за умови обмежень

Нехай оптимальний розв’язок цієї задачі існує за умови будь-якого. Слід визначити

де - випадковий вектор;- символ математичного сподівання.

Нехай Доведено, що функціяє випуклою за умовиТобто лінійна двох етапна задача зводиться до задачі мінімізації випуклою функції

За умови обмеження

Якщо кількість реалізацій випадкового вектора є скінченною, то отримуємо задачу лінійного програмування блочної структури.

До задачі нелінійного програмування приводяться також задачі стохастичного програмування, в яких розв’язок приймається за один етап без врахування конкретної реалізації випадкового параметра. Як правило, в таких задачах цільова функція та обмеження приймаються в певному усередненні за випадковим параметром. Основна складність розв’язку таких задач полягає в тому, що цільову функцію та функцію обмежень в явній формі можна отримати лише у виключних випадках, а можливо тільки безпосередньо обчислити значення цих функцій та їх градієнтів за умови фіксованих

Важливим підкласом є задачі з імовірнісними обмеженнями. Такі моделі використовуються в тих випадках, коли можливо вимагати не абсолютного виконання тих чи інших обмежень з певною імовірністю.

Найбільш простий та реальний шлях розв’язку задач стохастичного програмування пов’язаний із застосуванням методів узагальнених стохастичних градієнтів. Ці методи є різновидом методу випадкового пошуку, коли напрямок руху на кожній ітерації визначається з використанням певного випадкового чи псевдо випадкового процесу.