Общая постановка задач динамического программирования.

Рассмотрим управляемый процесс. Например, распределение средств между предприятиями, использующими ресурсы в течение ряда лет.

В результате управления система (объект) Sпереходит из состоянияв состояние.

Пусть управление можно разбить на nшагов, то есть решения принимаются последовательно на каждом шаге, а управление, переводящее системуSизв(), представляет собой совокупностьnпошаговых управлений.

Пусть - управление на k-ом шаге иудовлетворяет некоторым ограничениям и в этом смысле называется допустимым.может быть числом, точкой, функцией, качественным признаком.

управление, переводящее системуSиз.

состояние системы после к-ого шага управления.

Рисунок 9

- целевая функция, показатель эффективности рассматриваемой управляемой операции. Целевая функция зависит от начального состояния системыи управления Х.

Предположим:

1. Состояние зависит только от предыдущего состоянияи управления на предыдущем шаге и не зависит от предшествующих состояний и управлений. Это требование называется "отсутствие последствий".- уравнение состояний.

2. Целевая функция является аддитивной от показателей эффективности на каждом шаге. Обозначим показатель эффективности к-ого шаге через:

Тогда задача динамического программирования (пошаговой оптимизации) формулируется так: определить такое допустимое управление Х, переводящее систему Sиз, при котором целевая функция принимает наибольшее (наименьшее) значение.

Особенности динамического программирования:

1. Задача оптимизации интерпретируется как n-шаговый процесс управления.

2. Целевая функция равна сумме целевых функций на каждом шаге.

3. Выбор управления на k-ом шаге зависит от состояния системы к этому шагу, не влияет на предшествующие шаги (отсутствие обратной связи).

4. Состояние послеk-ого шага зависит только от предшествующего состоянияи управления(нет последствий).

5. На каждом шаге управление зависит от конечного числа управляющих переменных, а состояниеот конечного числа параметров.

Вычислительная схема задач динамического программирования безразлична к способам задания функции и ограничений, связана с принципом оптимальности и использует рекуррентные соотношения.

Принцип оптимальности.

Принцип оптимальности(был предложен Беллманом в 1953 г.): каково бы ни было состояние системыSв результате какого либо числа шагов, на ближайшем шаге надо выбирать управление так, чтобы оно в совокупности с оптимальными управлениями на всех последующих шагах приводило к оптимальному выигрышу на всех оставшихся шагах, включая данный.

Основное требование принципа оптимальности состоит в том, что процесс управления должен быть без обратных связей, то есть управление на каждом шаге не должно оказывать влияние на предшествующие шаги.

При оптимальном управлении, утверждается, что любого процесса без обратной связи оптимальное управление таково, что оно является оптимальным для любого процесса по отношению к исходному состоянию этого процесса. Следовательно, решение на каждом шаге является наилучшим с точки зрения управления в целом.