19.4. Определение оптимальной стратегии, максимизирующей ожидаемый доход в случае конечного горизонта планирования

Модель вероятностного динамического программирования

с конечным числом этапов

Пусть что в нашем примере срок аренды участка земли агрофирмой истекает через N лет. В этом случае необходимо определить стратегию поведения для каждого года при конечном горизонте планирования. Очевидно, оптимальной стратегией будет такая, при которой агрофирма получит наибольший ожидаемый доход за этот срок.

Пусть обозначает две возможные (альтернативные) стратегии поведения фирмы. Будем использовать матрицы переходных вероятностей и функций дохода , заданные формулами (1)-(4).

Задачу ВДП можно сформулировать следующим образом. Пусть число состояний для каждого этапа (года) равно m (в нашей задаче m = 3).

Обозначим через оптимальный ожидаемый доход, полученный на этапах от n до N включительно при условии, что система находится в начале этапа n в состоянии .

Обратное рекуррентное соотношение, связывающее , имеет вид:

причем

Уравнение (5) учитывает то, что накапливающийся доход образуется в результате перехода из состояния на этапе n +1 с вероятностью . Введя обозначение

рекуррентное уравнение ВДП можно записать в виде:

В нашей задаче, например, в случае, когда удобрения не используются (k = 1), получим

Таким образом, если состояние почвы в начале года оказывается хорошим, то при одном переходе ожидаемый годовой доход составляет 5,3, при удовлетворительном 3, и при плохом - 1 (убыток).

Рассмотрим задачу о стратегии агрофирмы с горизонтом планирования 3 года (N = 3) и матрицами (19.9)-(19.12).

Полученные рекуррентным способом значения параметров задачи сведены в таблицы, представленные ниже.

Таблица 19.1. Выигрыш для каждого этапа

1	5,3	4,7
2	3	3,1
3	-1	0,4

Этап 3.

			Оптимальное решение
1	5,3	4,7	5,3	1
2	3	3,1	3,1	2
3	-1	0,4	0,4	2

Этап 2.

			Оптимальное решение
1			8,19	2
2			5,61	2
3			2,13	2

Этап 1.

			Оптимальное решение
1			10,74	2
2			7,92	2
3			4,23	2

Оптимальное решение показывает, что в 1-й и 2-й годы агрофирма должна применять удобрения ( ) независимо от состояния почвы. На третий год следует применять удобрения только тогда, когда система находится в состояниях 2 или 3 (т.е. при удовлетворительном или плохом состояниях почвы). Суммарный ожидаемый доход за три года составит при хорошем состоянии системы в первый год, - при удовлетворительном состоянии системы в первый год и при плохом состоянии.

Рассмотрим второй вариант ВДП – модель с бесконечным числом этапов.