2. Решение задачи в случае бесконечного горизонта планирования

1. Метод полного перебора

В решаемой задаче имеется 4 стационарных стратегий:

• Использовать рекламу при любом положении сбыта

• Вообще не использовать рекламу

• Использовать рекламу лишь тогда, когда положение со сбытом неудовлетворительно (S₂)

• Использовать рекламу лишь тогда, когда положение со сбытом удовлетворительно (S₁)

Матрицы переходных вероятностей и матрицы доходов для стационарных стратегий с номерами 3 и 4 могут быть получены из соответствующих матриц для стационарных стратегий с номерами 1 и 2:

Метод полного перебора включает следующие этапы реализации.

Этап 1. Вычисление ожидаемого дохода за один шаг при k-й стационарной стратегии для всех возможных состояний системы S:

Результаты приведены в табл. 2.1.1.

Таблица 2.1.1

	k=1	k=2	k=3	k=4
v1(k)	1,7	3,1	3,1	1,7
v2(k)	-0,6	-0,4	-0,6	-0,4

Этап 2. Вычисление стационарных вероятностей П_j(k), матрицы переходных вероятностей P_k, соответствующей стационарной стратегии с номером k. Эти вероятности, если они существуют, являются решением следующей системы линейных алгебраических уравнений:

Например, для третьей стационарной стратегии стационарные вероятности П_j(3), j=1,2, являются решением системы линейных алгебраических уравнений

Результаты приведены в табл. 2.1.2

Таблица 2.1.2

	k=1	k=2	k=3	k=4
П1(k)	0,8571	0,4000	0,6667	0,6667
П2(k)	0,1429	0,6000	0,3333	0,3333

Этап 3. Определение ожидаемого дохода для всех стационарных стратегий:

Результаты приведены в табл. 2.1.3

Таблица 2.1.3

	k=1	k=2	k=3	k=4
E(k)	1,37	1,00	1,87	1,00

Этап 4. Определение номера k* оптимальной стационарной стратегии из условия

E(k*) = E(3) = 1,87

Таким образом, оптимальной является третья стационарная стратегия, реализация которой предполагает использование рекламы при неудовлетворительном положении со сбытом.

2. Метод итераций по стратегиям

Этап оценивания параметров. Выбираем произвольную стратегию τ = (X_l1, X_l2, … X_lm)^T, где j от 1 до m. Используя соответствующие стратегии τ, матрицу переходных вероятностей P(τ) = (p_ik(τ)) и матрицу доходов R(τ) = (r_jk(τ)) и полагая F_τ(m) = 0, решаем систему линейных алгебраических уравнений

Этап улучшения стратегии. Для каждого состояния S_j, j от 1 до m, находим допустимое решение X_*j, на котором достигается

Эти оптимальные решения образуют новую стратегию t = (X_*1, X_*2, … X_*m)^T_. Если t= τ, то стратегия τ и является оптимальной. В противном случае нужно обозначить стратегию t через τ и вернуться к первому этапу.

В качестве произвольной стратегии τ используем стратегию, предлагающую использование рекламы в любом состоянии. В этом случае

На этапе оценивания параметров, учитывая, что F_τ (2)=0, получаем систему линейных алгебраических уравнений

которая имеет единственное решение , .

Результаты соответствующих вычислений приведены в табл. 2.2.1, где использованы уже найденные значения v_j(X_i) (табл. 2.1.1)

Таблица 2.2.1

Sj			max	X*j
	i=1	i=2
1	1,7+0,9*3,29 = 4,661	3,1+0,7*3,29 = 5,403	5,403	X2
2	-0,6+0,6*3,29 = 1,374	-0,4+0,2*3,29 = 0,24	1,374	X1

Новая стратегия t = (X₂ X₁)^T предусматривает использование рекламы только в неудовлетворительном состоянии. Она отличается от стратегии τ, поэтому возвращаемся на этап оценивания параметров, полагая τ = (X₂ X₁)^T.

Новой стратегии τ соответствуют матрицы

которые при F_τ (2)=0 определяют следующую систему линейных алгебраических уравнений

которая имеет единственное решение , .

Результаты соответствующих вычислений приведены в табл. 2.2.2

Таблица 2.2.2

Sj			max	X*j
	i=1	i=2
1	1,7+0,9*4,11 = 5,399	3,1+0,7*4,11 = 5,977	5,977	X2
2	-0,6+0,6*4,11 = 1,866	-0,4+0,2*4,11 = 0,422	1,866	X1

Новая стратегия t = (X₂ X₁)^T, требующая использования рекламы только при неудовлетворительном положении со сбытом, идентична предыдущей, т.е. она является оптимальной. Этот результат совпадает с результатом, полученным методом полного перебора.