Математика Сизов 2011

371

22. Динамическое программирование

22.1 Краткие сведения из теории

Динамическое программирование – метод нахождения оптимальных решений в задачах с многошаговой (многоэтапной) структурой.

Многие экономические процессы расчленяются на этапы естественным образом. Это все процессы планирования и управления, развивающиеся во времени. Естественным этапом (шагом) в них может быть год, квартал, месяц, декада, неделя и т.д. Но метод динамического программирования может применяться в задачах, где время вообще не фигурирует. Например, в задаче нахождения оптимального режима ведения поезда, которая рассмотрена ниже. Разделение на этапы в таких задачах искусственное.

“Динамика” динамического программирования заключена в методе решения.

Общий подход к данному методу можно выразить формулой: лучше много раз решать сравнительно простую задачу на каждом этапе, чем один раз сложную.

Но оптимизация управления на каждом этапе в отдельности не обеспечивает оптимизации процесса в целом. Здесь нужно как-то учитывать одновременно и принимаемое решение на данном этапе и его последствия.

Динамическое программирование основывается на использовании принципа оптимальности, разработанного Р.Беллманом.

Принцип Беллмана: каково бы ни было начальное состояние системы на каждом этапе и управление, выбранное на этом этапе, последующие управления должны выбираться оптимальными относительно состояния, к которому придет система в конце данного этапа.

Этот принцип можно выразить рекуррентной формулой –

уравнением Беллмана:

Fi s min Ñs,k Fi 1 k ; Ñs,l Fi 1 l .

Здесь Fi s – целевая функция (стоимость, затраты, расстояние

и т.д.), на i-том этапе, начиная с которого до конца процесса осталось i этапов;

s – одно из начальных состояний системы на i-том этапе;

k, l – конечные состояния, системы на i-том этапе, или начальные состояния системы на ( i-1) этапе;

Сs,k , Сs,l – решения (тариф, затраты, расстояние и т.д.),

принимаемые на i-том этапе и переводящие систему из начального состояния s в конечное состояние k или l на данном этапе;

372

Fi 1 k , Fi 1 l – целевые функции на (i-1) этапе, соответствующие начальному состоянию системы k или l на этом этапе.

Согласно принципа оптимальности независимо от принятых решений Сs,k или Сs,l на i-м этапе последующие управления должны

быть оптимальными относительно состояний k или l, к которым

Т.к. буквой F в рекуррентной формуле обозначаются целевые функции всех этапов, то принцип оптимальности обязывает их быть оптимальными всюду. Для обеспечения оптимальности целевой функции Fi s на i-м этапе в условиях s-го начального состояния ее

необходимо минимизировать. Это значит из двух сумм в фигурных скобках выбрать наименьшую.

Но на данном i-том этапе существует не одно начальное состояние s, а несколько. Поэтому определяют оптимальные целевые функции Fi для каждого начального состояния системы на i-м этапе,

каждая из которых определит свое оптимальное решение C для своего начального состояния. Так получают набор оптимальных решений для i-го этапа, который называют условно-оптимальными решениями

(условными, т.к. каждое оптимальное решение зависит от условия – того или иного начального состояния i-го этапа).

Условно-оптимальные целевые функции остальных этапов определяются аналогично. Понятно, что количество условнооптимальных решений на каждом этапе определяется количеством начальных состояний системы на этих этапах.

В условии задачи даны все оценки принимаемых решений от каждого начального состояния любого этапа к каждому конечному состоянию этого этапа. Но последствия того или иного решения на любом этапе неизвестны. Поэтому уравнение Беллмана спонтанно не применяют.

Среди всех этапов системы существует одни, который может планироваться без учета последствий. Это последний этап. Получается одна из особенностей динамического программирования – всю вычислительную процедуру нужно начинать от конца к началу.

Если на последнем этапе i=1 (до конца процесса остался один этап) имеется три начальных состояния системы P, M, N и одно конечное состояние W (оно же конечное состояние системы в целом),

373

то при естественном отсутствии последствий уравнения Беллмана принимают вид:

F1 P CP,W ; F1 M CM ,W ; F1 N CN ,W ;

Данные решения известны по условию задачи, и они одновременно становятся условно-оптимальными целевыми функциями последнего этапа i=1.

На предпоследнем этапе i=2 (до конца процесса остается два этапа) составляют условно-оптимальные решения для каждого начального состояния этого этапа на основе уравнения Беллмана. Например, если на этапе i=2 одно из начальных состояний системы будет s, то для этого состояния уравнения Беллмана примет вид:

F2 s min Ñs,P F1 P ; Ñs,M F1 M ; Ñs,N F1 N .

Решения Сs,P ; Сs,M ; Сs,N известны по условию задачи, условно-

оптимальные целевые функции этапа i=1 определены в исследовании последнего этапа. Условно-оптимальная целевая функция этапа i=2 для начального условия s определяется по минимуму из трех сумм, стоящих в фигурных скобках. Здесь же определяется условнооптимальное решение для начального состояния s этапа i=2.

Двигаясь от конца к началу, проводя аналогичные исследования, находят условно-оптимальные решения для каждого начального состояния системы на каждом этапе.

состоянием всей системы. Значит, условно-оптимальных решений будет одно и оно становится безусловно-оптимальным. Остается только найти его по уравнению Беллмана.

Если начальное состояние системы и ее начального этапа (i n)

оптимальное решение этапа i n . Это будет одно из трех решений СA,B , СA,C или СA,D . Это решение позволяет однозначно определить

начальное состояние следующего i n 1 этапа, для которого ранее определены условно-оптимальные решения. Выбрав одно из них для получившегося однозначного начального состояния превращаем это условно-оптимальное решение в безусловно-оптимальное.

374

Двигаясь, таким образом, от начала к концу находят безусловнооптимальные решения последовательно для каждого этапа, т.к. переходя к очередному последующему этапу будет определяться одно единственное его начальное состояние, для которого оптимальная целевая функция, а значит и оптимальное решение уже определены исследованиями при движении от конца к началу.

Совокупность безусловно-оптимальных решений всех этапов составляет оптимальное управление всей системы, а уравнение Беллмана на начальном этапе i n представляет результирующие оптимальное значение целевой функции задачи динамического программирования .

22.2. Решение типовой задачи

Задача. Определить режим ведения поезда на каждом отрезке пути, который обеспечил бы минимальные приведенные расходы на передвижение по участку в целом.

Решение. Расходы на передвижение по каждому отрезку пути зависят от длины отрезка, скорости поезда, сопротивления движению, а последнее – от профиля пути. Расстояние между отрезками пути и профиль железной дороги величины постоянные. Расходы на передвижение зависят в основном от скорости движения поезда, т.е. от режима ведения поезда. С другой стороны, целесообразно разбить весь участок пути на отрезки (этапы) с постоянным уклоном, т.к. на каждом таком этапе при выбранном режиме ведения поезда затраты на передвижение практически не меняются.

Пусть таких этапов будет пять (диаграмма на рисунке 22.1). Обозначим их индексом i и пронумеруем в обратном порядке: последний этап i=1, а начальный этап i=5.

Заблаговременно в тяговых расчетах по каждому этапу определяют расходы на передвижение в зависимости от скорости движения. На диаграмму наносят скорости движения в конце (начале) каждого этапа (на вертикальные прямые, разделяющие этапы) и соответствующие им расходы на передвижение от этапа к этапу (расходы показаны на линиях, соединяющих точки-скорости движения в начале и в конце этапа).

375

На этапе i 2 в начальном состоянии Н условно-оптимальное решение на движение можно сформулировать так: нужно двигаться со скоростью Н в начале и со скоростью N в конце этапа СH,N , при этом

расходы на передвижение с учетом оптимального решения на последнем этапе составят 90 единиц.

377