Пример:

К началу текущей пятилетки на предприятии установлено новое оборудование. Зависимость производительности этого оборудования от времени его использования предприятием, а также зависимость затрат на содержание и ремонт оборудования при различном времени его использования приведены в табл.1.

Таблица1.

	Время x, в течение которого используется оборудование
	0	1	2	3	4	5
Годовая прибыль (тыс.руб.), R	80	75	65	60	55
Ежегодные затраты (тыс.руб.), Z	20	25	30	35	45	55

Зная, что затраты, связанные с приобретением и установкой нового оборудования, идентичного с установленным, составляют 40 тыс. руб., а заменяемое оборудование списывается, составить такой план замены оборудования в течение пятилетки, при котором общая прибыль за данный период времени максимальна.

Решение.

Эту задачу можно рассматривать как задачу динамического программирования, в которой в качестве системы S выступает оборудование. Состояния этой системы определяются фактическим временем использования оборудования (его возрастом) x, т. е. описываются единственным параметром x.

Тогда задача состоит в нахождении такой стратегии управления, определяемой решениями, принимаемыми к началу каждого года, при которой общая прибыль предприятия за пятилетку является максимальной.

Таким образом, мы сформулировали исходную задачу в терминах задачи динамического программирования. Эта задача обладает свойствами аддитивности и отсутствия последействия. Следовательно, ее решение можно найти с помощью метода динамического программирования, реализуемого в два этапа. На первом этапе при движении от начала 5-го года пятилетки к началу 1 -го года для каждого допустимого состояния оборудования найдем условное оптимальное управление (решение), а на втором этапе при движении от начала 1-го года пятилетки к началу 5-го года из условных оптимальных решений для каждого года составим оптимальный план замены оборудования на пятилетку.

1. k-м этапом решения является k-ый год эксплуатации.

2. Функция Беллмана. Пусть есть максимальная прибыль, которая может быть получена от эксплуатации оборудования, имеющего возраст к началу к-го года эксплуатации, а - прибыль, которая может быть получена в к-й год эксплуатации при наличии оборудования в возрасте и решении о сохранении оборудования, либо его замене в начале к-го года;

,

где С –стоимость нового оборудования.

Уравнение Беллмана:

Используя теперь уравнение Беллмана, приступаем к решению задачи. Будем оформлять решение в таблицах. Это решение начинаем с определения оптимального управления для последнего 5 –го года пятилетки. Т.к. к началу пятилетки имеется новое оборудование ( =0), то возраст оборудования к началу пятого года пятилетки может составлять 1, 2, 3 и 4 года.

Таблица1. (5-й этап )

1	75-25=50	80-20-40=20	50	0
2	65-30=35	80-20-40=20	35	0
3	60-35=25	80-20-40=20	25	0
4	60-45=15	80-20-40=20	20	1

Следующие таблицы составляются аналогично.

Таблица2. (4-й этап )

1	75-25+35=85	80-20-40+50=70	85	0
2	65-30+25=60	80-20-40+50=70	70	1
3	60-35+20=45	80-20-40+50=70	70	1

Таблица3. (3-й этап )

1	75-25+70=120	80-20-40+85=105	120	0
2	65-30+70=105	80-20-40+85=105	105	0

Таблица4. (2-й этап )

1	75-25+105=155	80-20-40+120=140	155	0

(1-й этап): Согласно условию, к началу пятилетки установлено новое оборудование ( =0). Поэтому проблемы выбора между сохранением и заменой оборудования не существует: оборудование следует сохранить. Значит, условно оптимальное управление =0 и значение функции . Т.о., максимальная прибыль предприятия может быть равной 215 тыс.руб.

Составление плана замены:

Итак, найдем оптимальное управление, пройдя все шаги с начала 1-го года пятилетки до начала 5-го года пятилетки. Для 1-го года пятилетки решение единственно =0. Значит, возраст оборудования к началу 2-го года пятилетки равен 1 году =1.Тогда в соответствии с данными таблицы 4 оптимальным решением для второго года пятилетки является решение о продолжении эксплуатации оборудования =0. Аналогично рассуждая, получим оптимальный план замены оборудования:

	Годы пятилетки
	1	2	3	4	5
Оптимальное решение	сохранить	сохранить	сохранить	заменить	сохранить

Мультипликативная реализация метода динамического программирования.

Существует много практических задач, где уравнение Беллмана имеет не аддитивную форму записи, а мультипликативную. Рассмотрим пример решения таких задач.

Пример:

Имеется электроаппаратура, состоящая из трех компонентов, соединенных последовательно. Известны вероятности безотказной работы каждого компонента и его стоимость. Для повышения надежности аппаратуры возможно дублирование отдельных компонентов, но так, чтобы суммарное число дублируемых компонентов не превосходило трех. Пусть общая стоимость аппаратуры не должна превышать 10 тыс.руб. Составить схему дублирования компонентов, обеспечивающую максимальную надежность аппаратуры и не превышающую стоимость в 10 тыс. руб. Данные о надежности и стоимости j-той компоненты ( ), включающей соединенных параллельно блоков, приведены в таблице1.

Таблица1.

1	0,6	1	0,7	3	0,5	2
2	0,8	2	0,8	5	0,7	4
3	0,9	3	0,9	6	0,9	5

-число дубликатов компонента. Заметим, что вариант =0 в данной задачи не имеет смысла.

Задача может быть формализована следующим образом:

при ограничении ,

где с=10.тыс.руб.(максимальная допустимая стоимость прибора)