Розділ 10 імовірнісні моделі динамічного програмування

1. Вступ

2. Задача розподілу зусиль

3. проблема поліпшення якості продукції та дерево рішень

4. елементарна модель управління запасами

5. Задача визначення оптимального розміру партії

6. Задача складання комерційного прогнозу

7. Стохастична модель відновлення

1. Вступ

У попередній главі ми проаналізували вплив невизначеності на процес формування оптимального управляючого рішення, або вироблення оптимальної стратегії поводження. Особлива увага при цьому приділялася питанням структуризації моделі, що містить випадкові величини, зокрема розбору різних послідовностей з актів прийняття управляючих рішень при різних припущеннях щодо порядку надходження даних, що характеризують фактичні або прогнозовані результати. Аналіз відносився, головним чином, до задач лінійного програмування. Було показано, що лінійні моделі стохастичного характеру можна звести до детермінованих лінійних моделей більшої розмірності; при цьому збільшення розмірності у реальних задачах є настільки значним, що знаходження оптимального рішення іноді виявляється практично неможливим.

У цьому розділі буде зроблена спроба перебороти ці труднощі. Кожна з приведених нижче моделей є типовою моделлю імовірнісного динамічного програмування. За допомогою розглянутих тут прикладів переконаємося, що метод рішення стохастичних задач динамічного програмування виявляється лише в незначній мірі складнішим за метод знаходження рішень для відповідних динамічних оптимізаційних моделей детермінованого характеру.

2. Задача розподілу зусиль

Розглянемо спочатку приклад, у якому вплив імовірнісних елементів на процедури висновку і застосування рекурентних співвідношень динамічного програмування виявляється майже тривіальним. Приведена нижче задача являє собою стохастичний аналог так називаної задачі розподілу зусиль, сформульованої раніше.

Власник фірми повинний розподілити наявний у нього тижневий запас яєць у кількості N штук по s магазинах, що належать цій фірмі. З досвіду відомо, що якщо направити яєць у магазин j, то буде забезпечений прибуток у розмірі . Власник фірми прагне знайти такий варіант розподілу наявної кількості яєць по магазинах, для якого сумарний прибуток був би максимальним.

Математично задача формулюється у такий спосіб:

Максимізувати (1)

при обмеженнях (наявний запас яєць), (2)

при будь-якому значенні j (поставляється лише

ціле число яєць). (3)

Раніше було введене наступне позначення:

– прибуток при оптимальному розподілі п яєць по магазинах 1, 2, ... , j. (4)

Бачимо, що задача, обумовлена співвідношеннями (1) – (3), перетвориться в багатокрокову задачу, рішення якої може бути отримане за допомогою рекурентного співвідношення динамічного програмування:

(5)

для (6)

де , а максимізація виконується над множиною ненегативних цілочисельних значень , що задовольняють умові . Оптимальне значення визначається величиною .

Приведена вище формулювання задачі ґрунтувалася на припущенні, що прибуток, який можна одержати за рахунок постачання яєць магазинові j, відома заздалегідь і визначається однозначно.

Припустимо, однак, що прибуток залежить не тільки від , але й від фактичного попиту на яйця в j-му магазині, причому припустимо, що обсяг попиту в j-му магазині є випадковою величиною, що не залежить від і значення якої стає точно відомим лише після того, як обрані значення всіх керованих перемінних . Введемо наступні позначення:

– прибуток, одержуваний магазином j у випадку, коли фактичний рівень попиту дорівнює і, а обсяг постачань в цей

магазин складає у яєць; (7)

– імовірність того, що рівень попиту для магазина j

дорівнює d. (8)

Функцію можна записати, наприклад, у наступному вигляді:

(9)

У даному випадку представляє собою прибуток, одержуваний j-м магазином за рахунок кожного проданого яйця. Коли обсяг постачань у достатній для того, щоб цілком задовольнити попит d, сумарний прибуток дорівнює . Однак у випадку, коли фактичний попит перевищує обсяг постачань, то виявляються проданими тільки у яєць, і, таким чином, сумарний прибуток дорівнює .

Математичне чекання прибутку за рахунок постачань в j-й магазин у_j яєць визначається формулою

(10)

де підсумовування робиться по всіх можливих значеннях рівня попиту (саме тому d стоїть під знаком суми). Якщо виходити з такого визначення , то рішення для моделі (1) – (3), в якій максимізується математичне чекання сумарного прибутку, буде відповідати оптимальному варіанту розподілу, причому оптимальне рішення як і раніше знаходиться за допомогою співвідношень (4) – (6). Таким чином, як тільки математичні чекання виявляються обчисленими, процедура рішення стохастичної задачі нічим не відрізняється від процедури визначення оптимального варіанта розподілу для відповідної детермінованої моделі.