18. Постановка задачи динамического программирования (дп). Основные принципы дп. Функциональные уравнения Беллмана.

Задачи для поиска оптимальных решений в системе с многошаговой структурой.2 типа: естественный ( когда нужно определить оптимальное решение на несколько лет вперед и частичное решение на каждый из годов – задача календарного планирования) и искуственный ( когда задача очень параметрична и большое пространство решений. Разбиение на подзадачи (проще решать много раз простые, чем 1 раз сложную) – планирование развитие мощностей на предприятии.

Пример: имеется группа из н-предприятий, причем известно какую прибыль (эффективность), которую мы хотели бы иметь. Z1(T)- за Т лет, но в данный момент Z0 0 неэффективный. Построить стратегию, чтобы через Т лет был оптимальный.

Особенности:

1. Будем описывать систему, состояние которой на каждом шаге определяется вектором Хт. Дальнейшее изменение состояния зависит только от этого данного состояния Хт и не зависит от того каким образом система пришла к данному состоянию. Такого рода система-система без последствия.

2. В каждом новом состоянии система переходит под воздействие какого-либо решения, т.е. можно сказать что каждое состояние есть функция состояния предыдущего шага и решение, принимаемое на очередном шаге.

X1=f1(x0, u1), x2= f2(x1, u2)

3. Можем связать с функцией выигрыша и дохода (ЦФ) Zt=φ(Xt-1,Ut) в предыдущий момент времени и принятие решения.

4. Очевидно, что на вектор Хт могут накладываться разные ограничения определяю ОДР (G)

Требуется: Найти такую допустимую последовательность действий для каждого шага, переводящего систему из некоторого начального состояния в некоторое конечное состояние так, чтобы получить максимум или минимум значение ф-ции цели за все Н-этапов. Любая последовательность действий, переводящая систему из начального состояния Х0 в Хт называется стратегией управления. Любая допустимая стратегия управления, приносящая целевой ф-ции экстремум будет называться оптимальной.

Геометрическая интерпретация:

Выбор оптимальной траектории.

Система с фазовым пространством - система, где каждая точка ОДР является некоторым состоянием.

Где Х0 и Хт известны – задача с закрепленными концами.

Где задана область – задача с незакрепленными концами( совбодная)

Принципы динамического программирования.

1. Принцип оптимальности. Оптимальная траектория перехода из некоторого начального состояния в целевое, есть сумма оптимальных траекторий движения на каждом из шагов. На систему могут накладываться ограничения которые и образуют область допустимых решений.

2. Принцип погружения. Природа задачи не меняется при изменении числа шагов по переходу системы из одного состояния в другое. Т.е. форма задачи инварианты по отношению к числу шагов Н.

Метод динамического программирования основан на применении принципа оптимальности Беллмана: каково бы ни было состояние системы перед очередным шагом, необходимо выбирать управление на этом шаге так, чтобы доход на данном шаге вместе с оптимальным доходом на всех последующих шагах был максимальным.

Из принципа оптимальности следует, что оптимальную стратегию управления можно получить, если сначала найти оптимальную стратегию управления на ом шаге, затем на двух последних шагах, затем на трёх последних шагах и т. д., вплоть до первого шага. Таким образом, решение рассматриваемой задачи динамического программирования целесообразно начинать с определения оптимального решения на последнем, ом шаге. Для того чтобы найти это решение, очевидно, нужно сделать различные предположения о том, как мог окончиться последний шаг, и с учётом этого выбрать управление обеспечивающее максимальное значение функции дохода Такое управление, выбранное при определённых предположениях о том, как окончился предыдущий шаг, называется условно оптимальным управлением.

Итак, принцип оптимальности требует находить на каждом шаге условно оптимальное управление для любого из возможных исходов предшествующего шага.

Для того чтобы построить алгоритм решения задач динамического программирования, дадим математическую формулировку принципа оптимальности Беллмана.

Пусть − максимальный доход, получаемый за шагов при переходе системы S из начального состояния в конечное состояние при реализации оптимальной стратегии управления а максимальный доход, получаемый при переходе из любого состояния в конечное состояние при оптимальной стратегии управления на оставшихся шагах. Тогда

при

Последнее выражение представляет собой математическую запись принципа оптимальности Беллмана и называется основным функциональным уравнением Беллмана. С использованием этого уравнения находится решение рассматриваемой задачи динамического программирования.

18. Najeems’s version

Динамическое программирование—это метод оптимизации многошаговых или многоэтапных процессов, критерий эффективности которых обладает свойством аддитивности (т.е. общий доход процесса равен сумме локальных доходов на отдельных этапах). В задачах динамического программирования критерий эффективности называется  доходом. Данные процессы управляемые, и от правильного выбора управления зависит величина дохода. В основе метода динамического программирования лежит принцип оптимальности Беллмана, формулирующийся следующим образом: управление на каждом шаге надо выбрать так, чтобы оптимальной была сумма выигрышей на всех оставшихся до конца процесса шагах, включая выигрыш на данном шаге. Объясняется это правило так: при решении задачи динамического программирования на каждом шаге выбирается управление, которое должно привести к оптимальному выигрышу. Если считать все шаги независимыми друг от друга, то оптимальным шаговым управлением будет то управление, которое приносит максимальный выигрыш именно на данном шаге. Но, например, при покупке новой техники в замен устаревшей на ее приобретение затрачиваются определенные средства. Поэтому прибыль от ее эксплуатации вначале может быть небольшой. Однако в следующие годы новая техника будет приносить большую прибыль. И наоборот, если руководитель примет решение оставить старую технику для получения прибыли в текущем году, то в дальнейшем это приведет к значительным убыткам. Данный пример демонстрирует следующий факт: в многошаговых процессах все шаги зависят друг от друга, и, следовательно, управление на каждом конкретном шаге надо выбирать с учетом его будущих воздействий на этот процесс. Динамическое программирование — это вычислительный метод для решения задач определенной структуры. Возникло и сформировалось в 1950-1953 гг. благодаря работам Р. Беллмана над динамическими задачами управления запасами. В упрощенной формулировке динамическое программирование представляет собой направленный последовательный перебор вариантов, который обязательно приводит к глобальному максимуму.

Основные необходимые свойства задач, к которым возможно применить этот принцип:

1. Задача должна допускать интерпретацию как n-шаговый процесс принятия решений.

2. Задача должна быть определена для любого числа шагов и иметь структуру, не зависящую от их числа.

3. При рассмотрении k-шаговой задачи должно быть задано некоторое множество параметров, описывающих состояние системы, от которых зависят оптимальные значения переменных. Причем это множество не должно изменяться при увеличении числа шагов.

4. Выбор решения (управления) на k-м шаге не должен оказывать влияния на предыдущие решения, кроме необходимого пересчета переменных.

Задача о выборе траектории, задача последовательного принятия решения, задача об использовании рабочей силы, задача управления запасами — классические задачи динамического программирования.

1. задача оптимизации формулируется как конечный многошаговый процесс управления;

2. целевая функция (выигрыш) является аддитивной и равна сумме целевых функций каждого шага:

3. выбор управления x_k на каждом шаге зависит только от состояния системы k этому шагу S_k-1, и не влияет на предшествующие шаги (нет обратной связи);

4. состояние системы S_k после каждого шага управления зависит только от предшествующего состояния системы S_k-1 и этого управляющего воздействия x_h (отсутствие последействия) и может быть записано в виде уравнения состояния: S_k = f_k(S_k-1 , x_k), k = 1, n;

5. на каждом шаге управление x_k зависит от конечного числа управляющих переменных, а состояние системы зависит S_k – от конечного числа параметров;

6. оптимальное управление представляет собой вектор  , определяемый последовательностью оптимальных пошаговых управлений:   = (x*₁ , x*₂ , ..., x*_k , ..., x*_n ), число которых и определяет количество шагов задачи.