1.2.4. Пример

Постановка задачи

n=8, p(i)=1/8, x=5, m=3.

Формализация

Альтернативы	вращать/забрать деньги	забрать/вращать
Состояние	последнее выпавшее число	j
Этап	соответствует i-му вращению колеса	i

Рекуррентные соотношения

Ход решения

В качестве первого рассматриваемого этапа будем считать третий этап, т.к. нам достоверно известно, что на этом этапе придется забрать деньги при любом выпавшем числе.

3этап

j	Забрать	Вращать	f3(j)	Решение
1	2	-	2	Забрать
2	4	-	4	Забрать
3	6	-	6	Забрать
4	8	-	8	Забрать
5	10	-	10	Забрать
6	12	-	12	Забрать
7	14	-	14	Забрать
8	16	-	16	Забрать

2этап

j	Забрать	Вращать	f2(j)	Решение
1	2	9	9	Вращать
2	4	9	9	Вращать
3	6	9	9	Вращать
4	8	9	9	Вращать
5	10	9	10	Забрать
6	12	9	12	Забрать
7	14	9	14	Забрать
8	16	9	16	Забрать

Выигрыши для столбца Вращатьпри любом текущем состоянии будут равны матожиданию выигрыша на 3 этапе, т.е.,

1этап

j	Забрать	Вращать	f1(j)	Решение
1	2	11	11	Вращать
2	4	11	11	Вращать
3	6	11	11	Вращать
4	8	11	11	Вращать
5	10	11	11	Вращать
6	12	11	12	Забрать
7	14	11	14	Забрать
8	16	11	16	Забрать

Ожидаемая прибыль = матожидание - стоимость игры, т.е.

Ожидаемая прибыль =

Оптимальная стратегия

	Выпавшее число
	1	2	3	4	5	6	7	8
Вращение 1	Вращать	Вращать	Вращать	Вращать	Вращать	Забрать	Забрать	Забрать
Вращение 2	Вращать	Вращать	Вращать	Вращать	Забрать	Забрать	Забрать	Забрать
Вращение 3	Забрать	Забрать	Забрать	Забрать	Забрать	Забрать	Забрать	Забрать

1.3. Вероятностная задача инвестирования

Некто планирует инвестировать С тысяч долларов через фондовую биржу в течение последующих и лет. Инвестиционный план состоит в покупке акций в начале года и продаже их в конце этого же года. Накопленные деньги затем могут быть снова инвестированы (все или их часть) в начале следующего года. Степень риска инвестиции представлена тем, что прибыль имеет вероятностный характер. Изучение рынка свидетельствует о том, что прибыль от инвестиции зависит отm условий рынка (благоприятных или неблагоприятных). При этом условиеiприводит к прибылиr_i с вероятностьюр_i, i=1, 2, ...,т. Как следует инвестироватьСтысяч долларов для наибольшего накопления к концуп лет?

Обозначим

x_i — сумма денежных средств, доступных для инвестирования в началеi-го года (x₁=C),

у_i — сумма реальной инвестиции в началеi-го года (у_i<х_i).

Элементы модели ДП можно описать следующим образом.

Этап i представляетi-й год инвестирования.

Альтернативами на этапеi являются величиныy_i.

Состояние системы на этапеiописывается величинойх_i.

Пусть f_i(x_i) — максимальная ожидаемая сумма поступления денежных средств за года отiдоnпри условии, что в началеi-го года имеется суммах_i. Дляk-го условия рынка имеем следующее.

х_i+1=(1+r_k)y_i+(х_i–у_i)=r_ky_i+x_i, k=1,2,...,m.

Так как вероятность k–го условия рынка равнар_k, рекуррентное уравнение динамического программирования имеет следующий вид.

где f_n+1(x_n+1)= x_n+1, так как послеn-го года инвестиции нет. Отсюда следует, что

поскольку функция в фигурных скобках является линейной по у_n и, следовательно, достигает своего максимума приу_n=х_n.