3. Динамическое программирование

3.1. Общая постановка задач лп

ДП - метод оптимизации, в котором процесс принятия решения может быть разбит на шаги.

Рассмотрим управляемый процесс распределения ресурсов (средств) между предприятиями, замены оборудования, пополнение запасов и т.д. В результате управления система S переводится из начального состояния S₀ в состояние . Пусть управление можно разбить на n шагов, т.е. принимается последовательно на каждом шаге, а управление, переводящее систему S из начального состояния в конечное, представляет собой совокупность n пошаговых управлений .

Пусть = (Х_1, Х₂,…, Х_к,…Х_п) - уравнение переводящее систему S из S₀ в . Обозначим через Х_к уравнение на к шаге. Переменные Х_к удовлетворяют некоторым ограничениям и в этом смысле называется допустимым. S_к - состояние системы после к шага управления. Получаем последовательность состояний.

Показатель эффективности рассматриваемой управляемой операции - целевая функция - зависит от начального состояния и управления: Z = F(S₀, Х)

1. Состояние S_k системы в конце к шага зависит только от предшествующего состояния S_k-1 и управления на к шаге Х_к. Это называется «отсутствием последствия».

S_k = φ_k(S_k-1, Х_k), k = 1,n - уравнения состояний.

2. Целевая функция является аддитивной от показателя эффективности каждого шага. Обозначим показатель эффективности к шага через Z_k = f_k(S_k-1, Х_k), тогда

.

Задача пошаговой оптимизации формулируется так:

определить такое дополнительное решение Х, переводящее систему S из S₀ в , при котором функция принимает max(min) значения.

3.2. Принцип оптимальности и уравнения Беллмана

Принцип оптимальности: каково бы ни было состояние системы S в результате какого-либо числа шагов, на ближайшем шаге нужно выбирать управление так, чтобы оно в совокупности с оптимальным управлением на всех следующих шагах приводило к оптимальному выигрышу на всех оставшихся шагах, включая данный.

Уравнения Беллмана. Рассмотрим последовательность задач.

n шаг:

S_n-1 - состояние системы к началу n шага;

S_n = - конечное состояние; Х_n - управление на данном шаге;

f_n (S_n-1, Х_n) – целевая функция n шага;

- условный max(min) целевой функции на n шаге;

- условное оптимальное управление.

Согласно принципу оптимальности Х_n - выбираем так, чтобы для любого S_n-1 получить max(min) целевой функции:

.

k шаг:

Эти рекуррентные соотношения, позволяют найти предельное значение функции, зная последующие. Процесс решения уравнений Беллмана называется условной оптимизацией.

3.3. Задача о замене оборудования

Пусть планируется эксплуатировать оборудование в течение некоторого периода времени продолжительностью n лет. Оборудование имеет тенденцию с течением времени стареть и приносить все меньший доход r(t). При этом возможность в начале любого года продать устаревшее оборудование за цену S(t) и купить новое оборудование за цену P. Под возрастом оборудования понимают период эксплуатации оборудования после последней замены, определенных в годах.

Требуется найти оптимальный план замены оборудования с тем, чтобы суммарный доход за все n лет был бы наибольшим, учитывая, что к началу эксплуатации возраст оборудования составляет t₀ лет.

Исходными данными в задаче является доход r(t) от эксплуатации в течении одного года оборудования возраста t лет, остаточная стоимость S(t), цена нового оборудования P и начальный возраст оборудования t₀.

t	0	1	…	n
r	r(0)	r(1)	…
S	S(0)	S(1)	…	S(n)

Очевидно, что доход от эксплуатации оборудования за годы с k по n года будет зависеть от возраста оборудования к началу рассматриваемого шага.

Переменной управления на каждом шаге является логическая переменная, которая может принимать одно из двух значений:

Функцию Беллмана F_k(t) определяют как максимально возможный доход от эксплуатации оборудования за годы с к по n, если к началу каждого возраст оборудования составлял t лет:

Для k = n .

В результате безусловной оптимизации определяются годы, вначале которых следует произвести замену оборудования.

Пример 33. Найти оптимальную стратегию эксплуатации оборудования на период 6 лет, если годовой доход и остаточная стоимость S(t) в зависимости от возраста заданы в таблице. Стоимость нового оборудования P = 13, а возраст оборудования к началу эксплуатационного периода составлял один год.

t	0	1	2	3	4	5	6
r(t)	8	7	7	6	6	5	5
S(t)	12	10	8	8	7	6	4

Решение. Условная оптимизация.

k = 6.

F6	1	2	3	4	5	6
r(t)	7	7	6	6	5	5
S(t) – P + r(0)	5	3	3	2	1	-1
max	7	7	6	6	5	5
С/З	С	С	С	С	С	С

Реализация в EXCEL приведена на рис. 23. Для подсчета последней строки используется команда:

ЕСЛИ(И(C13 = C11;C13 =C 12);"С/З";ЕСЛИ(C13 = C11;"С";"З"))

Рис. 23. Экранный вид первого шага

Аналогично строятся остальные шаги: k = 5

F5	1	2	3	4	5
r(t)	7	7	6	6	5
r + F6	14	13	12	11	10
S(t) – P + r(0) + F6(1)	12	10	10	9	8
max	14	13	12	11	10
С/З	С	С	С	С	С

F4	1	2	3	4
r(t)	7	7	6	6
r + F5	20	19	17	16
S(t) – P + r(0) + F5(1)	19	17	17	16
max	20	19	17	16
С/З	С	С	С/З	С/З

F3	1	2	3
r(t)	7	7	6
r + F4	26	24	22
S(t) – P + r(0) + F4(1)	25	23	23
max	26	24	23
С/З	С	С	З

F2	1	2
r(t)	7	7
r + F3	31	30
S(t) – P + r(0) + F3(1)	31	29
max	31	30
С/З	С/З	С

F1	r(t)	r + F2	S(t) – P + r(0) + F2(1)	max	С/З
1	7	37	36	37	С

Результаты сведены в таблице. В таблице выделено значение – замена оборудования

k/t	1	2	3	4	5	6
1	37
2	31	30
3	26	24	23
4	20	19	17	16
5	14	13	12	11	10
6	7	7	6	6	5	5

Безусловная оптимизация.

k = 1 и F₁(1) = 37 с сохранением оборудования, следовательно к началу второго года возраст оборудования t₂ = t₁ + 1 = 2; k = 2, Х₂(2) = с; k = 3, Х₃(3) = з, т.е. необходимо заменить оборудование; k = 4, Х₄(1) = с; k = 5, Х₅(2) =с; k = 6, Х₆(3) = с. Т.е., за 6 лет эксплуатации оборудования, замену нужно произвести один раз – в начале третьего года эксплуатации.