Тема 3 метод динамического программирования (дп)

3.1. Общее замечание

Принципиально постановки всех задач, решаемых методом ДП, отличаются:

1. показателем эффективности, который определяет критерий эффективности (целевая функция);

2. видом уравнения состояний.

Оба определяют основные для вычислительной схемы функциональные уравнения (уравнения Беллмана). По форме функциональные уравнения не отличаются, поэтому и вычислительная схема для всех задач неизменна.

3.2. Общая постановка задачи дп

Пусть S_o – начальное состояние системы, S_n – конечное состояние системы, U (иногда X) – допустимое управление системой (набор допустимых показателей), Z = Ф(S_o, U) или Z = Ф(S_n, U) – показатель эффективности (целевая функция).

Требуется определить допустимое управление системой U, переводящее систему из начального состояния S₀ в конечное S_n, при котором Z достигает оптимума (максимума или минимума).

3.3. Построение модели дп (для обратного хода)

1. Выбирают способ деления процесса на шаги.

2. Вводят в рассмотрение переменные состояния S_k и переменные управления u_k на каждом шаге процесса, 1  k  n.

3. Записывают уравнение состояния

S_k = F (S_k–1, u_k). (тип 1)

4. Вводят в рассмотрение заданный показатель эффективности на k-м шаге f_k (S_k–1, u_k) и записывают суммарный показатель (целевую функцию)

(тип 2)

5. Вводят в рассмотрение условные оптимумы показателя эффективности Z_k(S_k–1) от k-го шага (включительно) до конца процесса и условные оптимальные управления на k-ом шаге u_k (S_k–1).

6. Из ограничений задачи определяют для каждого шага множества D_k допустимых управлений на этом шаге.

7. Записывают основные для вычислительной схемы ДП функциональные уравнения Беллмана:

(тип 3)

так как если или если

(тип 4)

Таким образом, в результате для конкретной задачи получаем модель ДП в виде системы (n + 2) уравнений, в которой различаются 4 типа уравнений:

1. уравнение состояний S_k =…,

2. общий суммарный показатель эффективности: Z =…,

3. условный оптимум показателя эффективности для исходного шага Z_n (или Z₀) =…,

4. условный оптимум суммарного показателя эффективности для каждого k-го шага Z_k =…

3.4. Условия, которым должна удовлетворять задача, описываемая моделью дп

1. Задача должна интерпретироваться как n-шаговый процесс управления, а показатель эффективности процесса должен быть представлен в аддитивной форме, например, как сумма показателей эффективности на каждом шаге.

2. Структура задачи (или алгоритм решения) должна быть инвариантна относительно числа шагов n, т.е. должна быть определена для любого n и не зависеть от него.

3. На каждом шаге состояние системы определяется конечным числом переменных состояния и управляется конечным числом переменных управления, причем s и r не зависят от числа шагов n.

4. Выбор управления на k-м шаге не влияет на предшествующие шаги, а состояние в начале этого шага есть функция только предшествующего состояния и выбранного на нем управления (отсутствие последствия!).