4.4. Задача о замене оборудования и ее решение методом динамического программирования

Пример 4.4.1.

Разрабатывается оптимальная политика использования и замены сельскохозяйственной техники не старше N лет, для которой известны стоимость выполняемых работ в течение года r(t) (t=0, 1, …N); ежегодные расходы, связанные с ее эксплуатацией u(t); остаточная стоимость S; стоимость новой техники P.

ТРЕБУЕТСЯ:

Сформировать оптимальные стратегии замены оборудования возрастов T и T₁ лет в плановом периоде продолжительностью соответственно N и N₁ лет.

Исходные данные:

			t	0	1	2	3	4	5	6	7	8	9	10
N=10	N1=7	S=4	r(t)	27	26	26	25	24	23	23	22	21	21	20
T=4	T1=5	P=13	u(t)	15	15	16	16	16	17	18	18	19	20	20

Задачу решить методом динамического программирования.

Решение.

Система S для рассматриваемой задачи – процесс эксплуатации оборудования, который характеризуется продолжительностью планового периода N и начальным возрастом оборудования T. Для осуществления принципа инвариантного погружения будем рассматривать различные длины m планового периода 1mn и все возможные значения t возраста оборудования. При этом задача естественным образом распадается на этапы по продолжительности планового периода. Функция Беллмана B(t,m) означает в данном случае максимальную прибыль от эксплуатации оборудования возраста t лет в плановом периоде длиной m лет. Из значений функции Беллмана можно составить матрицу, строки которой соответствуют длинам планового периода, а столбцы – возрасту оборудования. Таким образом, в данной задаче можно считать: m – моменты; t – состояния; решения о сохранении или замене оборудования – управления. Если обозначить (t,m) – состояние системы S в момент m, то применив, например, политику сохранения система перейдет в состояние (t+1, m – 1).

Отметим, что для каждого состояния только два управления: «сохранение» или «замена».

Построение функции B(t, m) начнем со случая m = 1. Этот случай можно рассматривать как последний год планового периода. Если принять решение о сохранении оборудования возраста t на этот год, то прибыль от эксплуатации B(t, 1) = r(t) – u(t), т.е. прибыль состоит из стоимости выполняемых за год работ за вычетом эксплуатационных расходов. Если же принять решение о замене оборудования, то прибыль составит B(t,1) = S+r(0)–p–u(0), т.е. она состоит из остаточной стоимости старого оборудования плюс стоимость выполняемых за год работ на новом оборудовании за вычетом покупки нового оборудования и эксплуатационных расходов. Теперь можно определиться с политикой «сохранение – замена». Если r(t)–u(t)r(0)–u(0)+S–P, оборудование сохраняется. В противном случае, когда новое оборудование дает большую прибыль, в начале года старое оборудование следует заменить.

Таким образом, значения B(t,1) представляют собой для каждого t максимум из двух чисел. С указанием политики «сохранение – замена», эту функцию можно задать в виде

B(t,1)=max{ r(t)–u(t) (сохранение); r(0)–u(0)+S–P (замена)}

Практически вычисление значений B(t,1) начинают с определения величины

I(1)= r(0)–u(0)+S–P,

которую можно назвать «индикатор замены». Если при t = 0, 1, …, k соблюдаются соотношения r(t) – u(t)  I(1) и r(k + 1) – u(k + 1) < I(1), полагают B(t,1) = r(t) – u(t). Одновременно для t = k +1, k +2,… B(t,1) = I(1). При записи в матрицу, значения B(t,1) разделяем (например, вертикальной чертой) на две области: «область сохранения» (левее вертикальной черты) и «область замены» (правее).

В данном случае I(1) = 27 – 15 + 4 – 13 =3. Вычисляем:

…;

, т.е. ; ;…; ;

│ .

Вычисленные значения заносятся в первую строку таблицы 1.

Пусть . Смысл B(t,2) – максимальная прибыль от оборудования возраста t лет за два последних года. За первый год эксплуатации ( ) при политике сохранения оборудование даст прибыль r(t)–u(t), а при политике замены – S+r(0)–P–u(0). Через год оборудование постареет и за оставшийся год (m=1) даст прибыль B(t+1,1) или B(1,1) в зависимости от примененной в будущем политики, т.е. максимальная прибыль за два последних года работы составит

«Индикатором замены» при можно считать

.

Вычисления второй строки таблицы 1:

;…; ;

 ;…; |

В общем случае, если B(t, m) уже построена, получаем функциональное уравнение Беллмана

Используя на каждом этапе «индикатор замены» I(m+1) = I(1)+B(1, m) и функциональное уравнение Беллмана, последовательно заполняем все строки таблицы 1 (m = 1, 2, …, 10; t = 0, 1, 2, …, 10), отделяя вертикальной чертой область «сохранение» от области «замена». В результате получим таблицу значений функции Беллмана:

t B(t,m)	0	1	2	3	4	5	6	7	8	9	10
B(t, 1)	12	11	10	9	8	6	5	4|	3	3	3
B(t, 2)	23	21	19	17	14|	14	14	14	14	14	14
B(t, 3)	33	30	27	24|	24	24	24	24	24	24	24
B(t, 4)	42	38	34	33|	33	33	33	33	33	33	33
B(t, 5)	50	45	43	42	41|	41	41	41	41	41	41
B(t, 6)	57	54	52	50	49|	48	48	48	48	48	48
B(t, 7)	66	63	60	58|	57	57	57	57	57	57	57
B(t, 8)	75	71	68	66|	66	66	66	66	66	66	66
B(t, 9)	83	79	76	75	74|	74	74	74	74	74	74
B(t, 10)	91	87	85	83	82|	82	82	82	82	82	82

По таблице значений функции Беллмана легко сформировать оптимальные стратегии «сохранение – замена» при разных N и T. Пусть N=10 и T=4. Значение функции Беллмана B(4,10) = 82 равно максимальной прибыли за 10 лет при условии, что в начале периода имелось оборудование возраста 4 года.+ Оно находится левее вертикальной черты, т. е. в области «сохранение». Это означает, первый год следует работать на старом оборудовании.

Через год оборудованию будет уже 5 лет, и B(5,9) = 74 находится в области «замена», т.е. в начале второго года работы оборудование следует заменить. После года работы оборудование постареет на один год. Так как

B(1,8) = 71, B(2,7) = 60, B(3,6) = 50 и B(4,5) = 41

находятся в области сохранения, то 3-й, 4-й, 5-й и 6-й годы следует работать на старом оборудовании. B(5,4) = 33 находится в области «замена», т.е. в начале 7-го года работы оборудование следует заменить новым. Далее, так как B(1,3) = 30, B(2,2) = 19 и B(3,1) = 9 находятся в области «сохранение», то последние 3 года следует работать на старом оборудовании, замененном в начале 7-го года работы.

Схематически этот процесс можно изобразить следующим образом:

Аналогично, при N = 7 и T = 5 максимальная прибыль B(5,7) = 57, а процесс управления можно задать в виде следующей схемы: