Уравнение оптимальности Беллмана имеет вид
- на последнем шаге
Z*2(S1) =maxF2(S1,х2)
x2
- на первом шаге
Z*1 (S0) = max {F1(S0,х1)+Z*2(S1)}
х1
В результате определяется оптимальное решение
Х* = {x*1;x*2) .
В качестве конкретного примера рассмотрим ситуацию, когда инвестиции в фирму осуществляются в два этапа.
Фирма представляют собой на первом этапе магазины, на втором – магазины и риэлтерские фирмы.
Предполагается, что магазины торгуют одним типом товаров, а риэлтерские фирмы осуществляют операции с одним видом недвижимости.
Обозначим через х1и х2решения об инвестициях соответственно на первом и втором этапах.
Имеем три возможных состояния:
S0– инвестиции не осуществлялись (начальное состояние);
S1– инвестиции осуществлены на первом этапе;
S2– инвестиции осуществлены на втором этапе (конечный этап).
В каждом из состояний S0иS1возможны три решения:
т.е. х1 = {1,2,3,} иx2 = {1,2,3}
На первом этапе выбор осуществляется для магазинов: «Продукты», «Вино и водка», «Парфюмерия».
Состояние S1, т.е. накопленный на первом этапе капитал, будет различным в зависимости от выбора варианта на первом этапе. Имеем состояния:
Хорошее – F1(S0,x1=1) = 30;
Отличное – F1(S0,x1=2) = 35;
Удовлетворительное – F1(S0,x1=3) = 10
Находясь в одном из этих вариантов состояний S1осуществляем инвестиции на втором этапе и снова каждый раз необходимо сделать выбор из трех вариантов. То есть, если состояниеS1хорошее, то инвестируем в риэлтерскую фирму с возможными вариантами объектов недвижимости: квартиры, нежилые помещения, земельные участки.
Если состояние S1отличное, то инвестируем в магазины, которые торгуют фотоаппаратами Кодак, детской одеждой или мебелью.
Если состояние S1удовлетворительное, то инвестируем в магазины: «Бытовая техника», «Мебель» или «Кухни».
Графически ситуация представлена на рис.6.11.
Рис. 6.11. Практическая реализация схемы принятия решений на двух этапах
Выигрыши и процедуру выбора оптимальных решений в соответствии с уравнениями Беллмана демонстрирует приведенная ниже табл. 6.4.
Таблица 6.4.
|
Решение на первом шаге |
Решение на втором шаге |
|
|
|
|
| ||||
|
x2=1 |
x2=2 |
x2=3 |
|
|
|
|
| |||
|
х1 |
F1(S0,x1) |
x1 |
F2(S1,x2) |
F2(S1,x2) |
F2(S1,x2) |
Z*2(S1) |
x*2(S1) |
F1(S0,x1) +Z*2(S1) |
х*1 |
Z*1 |
|
х1 = 1 |
30 |
х1 = 1 |
10 |
15 |
20 |
20 |
3 |
50 |
1 |
50 |
|
х1= 2 |
35 |
х1= 2 |
5 |
10 |
8 |
10 |
2 |
45 |
- |
- |
|
х1= 3 |
10 |
х1= 3 |
10 |
30 |
15 |
30 |
2 |
40 |
- |
- |
Работа с данными, представленными в таблице, осуществляется следующим образом.
В соответствии с уравнением Баллмана для последнего шага выбираются оптимальные решения на втором этапе.
х*2(S1) = {3;2;2} = {земельные участки, детская одежда, мебель}
Условно оптимальные выигрыши при этом равны
Z*2(S1) = {20;10;30} Далее в соответствии с уравнением Беллмана принимается решение оптимальное для двух этапов.
Т.о. оптимальное для двух этапов решение
х* = {x*1;x*2}= {1;3}.
Оптимальный выигрыш Z*1(S0) = 50.
Т.о. сначала находятся условные максимумы на втором шаге: 20;10;30
Затем складывается результат на 1 и 2-ом шаге: 50;45;40. Среди суммарных результатов выбирается тот, который обеспечивает максимальный выигрыш – 50.