2.5. Задачи поиска оптимального решения методом динамического программирования

Динамическое программирование позволяет решать задачи оптимального управления различными процессами, которые возникают во всех сферах человеческой деятельности. Особенностью динамического программирования является то, что решение любой задачи по оптимальному распределению ресурсов сводится к многоэтапному или многостадийному процессу принятия решений. Многоэтапным управляемым процессам присущи общие черты:

1. процесс должен быть разбит на составляющие элементы, называемые в динамическом программировании шагами или этапами;

2. каждый этап, или шаг, характеризуется состоянием (значением факторов, переменных);

3. из факторов состояния выделяются управляемые и управляющие;

4. на каждом шаге, или этапе, вычисляется целевая функция, характеризующая зависимость между управляющими и управляемыми факторами, и устанавливаются такие значения факторов, которые обеспечивают экстремум целевой функции;

5. значение целевой функции всего управляемого процесса должно складываться из элементарных значений этой функции (свойства аддитивности).

Пусть операция G разбивается на k этапов (шагов): G={g₁,g₂,…,g_k}. В деятельности промышленного предприятия в течение ряда периодов некоторые операции расчленяются на такие шаги естественным образом, а другие нужно разбивать условно. Процесс достижения поставленной цели можно разбить на этапы, каждый из которых занимает период времени , для каждого из элементарных шагов можно выделить определенное количество ресурсов из имеющихся запасов (финансовые, трудовые, временные и др.).

Эффективность всей операции характеризуется показателем W. Пусть этот критерий имеет свойство аддитивности, т.е. суммарные выигрыши складываются из выигрышей на каждом этапе (шаге):

.

(2.24)

Если операция G – управляемый процесс, то решение, выбираемое на каждом шаге, будет влиять как на результат данного шага, так и на результат всей ситуации. Совокупность решений – шаговое управление – складывается из k управляющих воздействий х на каждом шаге: х={x₁,x₂,…,x_k}.

При х₁ выполняется g₁ и т.д. Управляющими воздействиями могут быть числа, функции, и нужно найти такое уравнение, при котором Wmax, либо, если под этими критериями понимаются затраты, Wmin. Значения управляющего воздействия, соответствующие максимуму критерия W обозначим как X^* и назовем оптимальным управлением, следовательно,

.

(2.25)

Пример 2.2. Планируется деятельность группы филиалов F₁,F₂, …,F_k на период хозяйственной деятельности из m лет. В начале периода на развитие всех филиалов выделены средства S, которые должны быть распределены между филиалами. В процессе работы вложенные средства частично расходуются, частично возвращаются в виде дохода и могут быть перераспределены.

Доход каждого филиала зависит от того, сколько средств в него вложено, средства перераспределяются в начале каждого года в периоде из m лет. Какое количество средств в начале года нужно вложить в каждый филиал, чтобы суммарный доход по k филиалам за m лет стремился к максимуму

.

(2.26)

Управление на каждом шаге заключается в распределении средств , которые должны быть отнесены кj-му филиалу (), гдех_i – средства, выделенные в i-м году. Управление всей операцией состоит из совокупности пошаговых решений по годам: . Шаговое управление представляет собой распределение средств по филиалам, а каждый год – это шаг, этап.

Пример 2.3. Пусть владелец автомобиля эксплуатирует его в течение m лет. В начале каждого года он может выполнить одно из указанных воздействий:

1. эксплуатация машины без ремонта;

2. ремонт и дальнейшая эксплуатация;

3. продажа автомобиля или замена новым.

Нужно выбрать одно из решений на каждом из m годов (шагов). Оптимальное управление получается из определенных чередований отдельных решений таким образом, чтобы минимизировать суммарные расходы за m лет. Управление в целом будет состоять из последовательности решений x={1,1,1,2,1,1,2,2,3,1,…,x_m}.

Пример 2.4. Пусть нужно проложить участок железнодорожного пути между пунктами А и Б (рис.2.4), местность – пересеченная, содержит горы, леса, реки, болота. Путь должен быть проложен таким образом, чтобы суммарные затраты стремились к минимуму. В задаче нет естественного деления на шаги. Введем его искусственно. Если разделить весь путь на несколько отрезков, которые могут иметь только вертикальные или горизонтальные направления, то управление всей операцией будет состоять в выборе направлений на каждом шаге: В, С, В, С, В, С. Нужно минимизировать функцию затрат для k шагов:

.

(2.27)

Любую многошаговую задачу можно решать двумя способами.

1. Определить все возможные варианты, затем выбрать лучший. Но количество комбинаций будет возрастать в геометрической прогрессии с увеличением количества шагов. Поэтому этот путь не является удобным с вычислительной точки зрения.

2. Необходимо отыскать оптимальное уравнение на очередном этапе, при этом с вычислительной точки зрения этот способ легче, но в реализации есть опасность – можно попасть в критическую точку (болото), тогда суммарные затраты для выхода из критической точки резко увеличиваются. Выбирая очередной шаг, нужно стремиться к оптимизации суммарных затрат, тогда может быть выгоднее выбрать на конкретном шаге не оптимальный, а худший вариант.

1 2 3 4 5 6 7 8 9 10

1
2
3
4
5

Рис.2.4. План местности участка от А до Б

Чтобы при выборе управления на каждом шаге оценить суммарную эффективность, которая может быть достигнута на последнем шаге, выбирают такое воздействие, при котором стоимость до управления была минимальной – условная оптимальность.

Процедуры условной оптимизации разрабатывают в обратном направлении от конца пункта БкА, при этом производят условную оптимизацию последнего шага. Если разбить отрезок управления (осьВ) на 11 интервалов, а ось C на 5 интервалов, то количество шагов равно 16. На 16-м шаге мы должны быть в пунктеБ. Каждому из отрезков поставим в соответствие стоимость прокладываемого пути (рис. 2.5).

9 с₁ 11 10 Б

	12 12	13 14
d2	c2 9	14 8 11
	d3	c3

Рис.2.5. Стоимость движения до пункта Б

От 16-го шага есть два пути: первый будет стоить 10 у.е., второй – 14 у.е. Стоимость достижения из участка с₁вБравна 21 у.е. (11+10), из участкас₃ вБ– 22 у.е. (8+14). Из участкас₂ вБможно прийти первым путем, тогда стоимость равна 23 у.е.(13+10), вторым – 28 у.е. (14+14).

Из d₂вБ: 1) пос₁–33 у.е.; 2) пос₂– 35 у.е.;

из d₃вБ: 1) пос₂ –32 у.е.; 2) пос₃– 33 у.е. и т.д.

Рассмотрев все варианты прокладки, подсчитываем суммарные затраты на выбор той или иной траектории. Выбор траектории выражается прямыми движениями из АвБ. Может оказаться, что задача имеет много решений, из которых нужно выбрать одно.

Пример 2.5.Пусть нужно имеющиеся запасы ресурсов объемомКраспределить междуП₁,…, П_mпредприятиями. Вложение денежных средств в каждое предприятие является шагом управления. Этот шагприносит доход (прибыль)(х_i),аргументом функции (х) являются средства из запасаК. Составление системы перед каждым шагом характеризуется наличием оставшихся для распределения средствS. Нужно найти такое значение, при котором сумма по (х)была бы максимальной.

,

(2.28)

где W– оптимальное распределение денежных средств.

Задачу поиска оптимального решения начинают с m-го шага, к которому мы подошли с суммой запасов. Оптимальным управлением является вложение в последнее предприятие всех оставшихся суммарных средств, при этом выигрыш– рентабельность вложенных средств.

Последний шаг считается оптимальным, на шаге m-1условный выигрыш будет определяться выражением

.

(2.29)

Это доход на m-1-м предприятии, если вложено некоторое количество средств. На последнем шаге мы получим доход , но сумма вложенных средств (S – x_m-1) . Нужно найти такое значение х, при котором общая сумма (2.29) была бы максимальной. Следующий шаг аналогичен, и в результате получаем оптимальное решение. Формулу (2.29) можно привести к рекуррентному виду. Оптимизация распределения средств должна заключаться в поиске максимального значения, которое будет достигнуто путем вложения некоторой доли этих средств _i(х) с учетом уменьшения суммарного дохода на предыдущем шаге за счет уменьшения средств на величину х:

.

(2.30)

На первом шаге нужно распределить весь запас V=Kи разделить его на две части:

.

(2.31)

Затем взять значения хна всех шагах до последнего.

Начальные средства х=5 млн руб. Их нужно оптимально распределить междуmпредприятиями, чтобы доход был максимальным. Рассмотрим вначале распределение средств для двух предприятий, тогда функция дохода для двух предприятий определяется следующим образом.

W_1,2 (х) – оптимальное распределение капиталовложения в 1-е и 2-е предприятиях. Чтобы определить W_1,2, надо вычислить вложения по формуле (2.31):

при х=1: ₁(0)+₂(1)=0+0,25=0,25,

₁(1)+₂(0)=0,28+0=0,28;

при х=2:₁(0)+₂(2)=0+0,41=0,41,

₁(1)+₂(1)=0,28+0,25=0,53,

₁(2)+₂(1)=0,45+0=0,45.

Из этих величин для каждого хвыбирают большую величину, следовательно,W_1,2(1)=0,28,W_1,2(2)=0,53. Аналогично вычисляются всеW₁₂(x), результаты сведены в таблицу (табл.2.5).

Таблица 2.5. Расчет прибыли предприятий

Средства х	Прибыль 1-го предприятия 1(х)	Прибыль 2-го предприятия 2(х)	W1,2(х)	Оптимальное управление предприятиями
1	0,28	0,25	0,28	(1,0)
2	0,45	0,53	0,53	(1,1)
3	0,65	0,55	0,70	(2,1)
4	0,78	0,65	0,90	(3,1)
5	0,90	0,75	1,06	(3,2)

Из табл. 2.5 видно, что если необходимо вложить х=5 млн руб. в первое и второе предприятие, то в первое предприятие надо вложить 3 млн руб, а во второе – 2 млн руб., т.к. оптимальное управление (3,2), тогда будет получена прибыль 1,06 млн.руб. При других распределениях прибыль будет меньшая.

Для третьего предприятий определяется максимум

и т.д.

Задания для самостоятельной работы

Задание 1. Фабрика по пошиву верхней одежды выпускает изделия трех наименований. Для планирования ассортимента необходимо решить задачу об оптимизации выпуска изделий с учетом затрат. Нормы расхода и прибыль, получаемая от реализации каждого вида изделия (в условных единицах), приведены в табл.2.6. Определить оптимальный объем выпуска каждого изделия.

Таблица 2.6. Исходные данные для расчета объема выпуска

Ресурс	Продукт 1	Продукт 2	Продукт 3	Знак	Наличие
Прибыль	3,8	3,9	4,0	Макс
Трудовые	1	1	1	<=	1500
Сырье	5,0	4,2	4,0	<=	8000
Финансы	3,3	3,6	3,5	<=	5000

Задание 2. Решить задачу распределения денежных средств по данным примера 2.5 для трех предприятий.

Задание 3.Сформулировать собственную задачу и решить одним из рассмотренных методов.

Контрольные вопросы

1. В чем заключается сущность оптимального программирования?

2. Что показывает целевая функция?

3. Что характеризуют ограничения и как они записываются?

4. В чем различие между линейным и динамическим программированием?

5. Какие задачи можно решить с использованием метода линейного программирования?

6. В чем сущность решения задач динамического программирования?