5.4. Максимизация вероятности достижения цели

В разделе 5.3 рассматривалась задача, связанная с максимизацией ожидаемой прибыли. Иным полезным критерием для рассмотренной задачи является максимизация вероятности достижения определенного уровня дохода. Продемонстрируем этот подход на примере модели инвестирования, которая описана в разделе 5.3.

Используя обозначения из раздела 5.3, оставим без изменения определение этапа i, альтернативы у_i и состояния х_i. Эти модели отличаются только определением критерия; здесь нашей целью является максимизация вероятности достижения некоторой накопленной денежной суммы S по истечении п лет. С этой точки зрения определим функцию f_i(x_i) – вероятность накопления суммы S, если в начале i-го года имеются денежные средства в сумме х_i и для последующих лет i, i + 1,..., п используется оптимальное инвестирование.

Рекуррентное уравнение динамического программирования имеет вид

Рекуррентная формула основана на формуле условной вероятности

В нашем случае f_i+1 (x_i + r_k y_i) играет роль вероятности Р{А | B_j}.

Пример 5.4-1

Некий индивидуум планирует инвестировать 2 000 долларов. Имеющиеся варианты позволяют удвоить эту сумму с вероятностью 0.3 или потерять ее с вероятностью 0.7. Акции продаются в конце года, а в начале следующего года все деньги или их часть снова инвестируются. Этот процесс повторяется на протяжении трех лет. Целью является максимизация вероятности достижения суммы в 4 000 долларов в конце третьего года.

В соответствии с обозначениями данной модели, имеем r₁ = 1 с вероятностью 0.3 и r₂ = –1 с вероятностью 0.7.

Этап 3.

На этом этапе состояние х₃ может изменяться от 0 до 8 000 долларов. Минимальное значение возможно, когда вся инвестиция потеряна, а максимальное – когда инвестиция удваивается в конце каждого из двух первых лет. Следовательно, рекуррентное уравнение для этапа 3 записывается в следующем виде:

,

где, x₃ = 0, 1,..., 8.

Приведенная ниже таблица содержит детали вычислений для данного этапа. Все заштрихованные ячейки таблицы являются неподходящими, так как не удовлетворяют условию у₃ ≤ x₃. Кроме того, при выполнении вычислений можно заметить, что

.

В противном случае эти вероятности равны 1.

Хотя приведенная таблица и свидетельствует о том, что существуют альтерна­тивные оптимумы для х₃ = 1, 3, 4, 5, 6, 7 и 8, оптимальный (последний) столбец содержит лишь наименьшие оптимальные значения у₃. Это объясняется тем, что инвестор не собирается инвестировать больше того, что необходимо для достиже­ния поставленной цели.

Этап 2.

.

Этап 1.

.

x1				Оптимум
	y1 = 0	y1 = 1	y1 = 2	f1	y1
2	0.30.3+0.70.3 = 0.3	0.30.51+0.70.09 = 0.216	0.31+0.70 = 0.3	0.3	0

Оптимальная стратегия определяется следующим образом. При заданной начальной сумме х₁ = 2000 долларов вычисления для первого этапа дают у₁ = 0. Это означает, что в первый год не следует делать инвестиций. Данное решение оставляет инвестора с 2000 долларов к началу второго года. Из таблицы, соответствующей второму этапу, при x₂ = 2 получаем у₂ = 0; это снова означает, что на протяжении второго года также не следует делать инвестиций. Далее использование значения х₃ = 2 на третьем этапе приводит к у₃ = 2, а это означает, что на третий год следует инвестировать всю имеющуюся в распоряжении сумму. Соответствующая максимальная вероятность достижения цели S = 4 равна f₁(2) = 0.3.