25.2 Принцип оптимальности Беллмана

В основу метода динамического программирования положен принцип оптимальности, который в переложении для многостадийного процесса может быть сформулирован следующим образом. Оптимальная стратегия обладает тем свойством, что каковы бы ни были начальное состояние x⁽⁰⁾ многостадийного процесса и управление на первой стадии u⁽¹⁾, последующие управления на всех стадиях u⁽ⁱ⁾ (i 2, ..., N) должны составлять оптимальную стратегию и_N-1 относительно состояния x⁽¹⁾ первой стадии, определяемого начальным состоянием процесса x⁽⁰⁾ и управлением на первой стадии u⁽¹⁾.

В приведенной формулировке принципа оптимальности под оптимальной стратегией и_N-1 понимается стратегия управления многостадийным процессом, включающим N-1 последних стадий исходного процесса, придающая критерию

оптимальное значение.

Другими словами, оптимальная стратегия и_N-1 находится для (N-1)-стадийного процесса, для которого величина является начальным состоянием.

Таким образом, если известна оптимальная стратегия управления и_N-1 для любого возможного состояния x⁽¹⁾ первой стадии N-стадийного процесса, то уже не составляет труда выбрать оптимальное управление и на первой стадии u_опт⁽¹⁾, поскольку на последующих стадиях оно определяется только состоянием выхода первой стадии:

и_N-1 и_N-1 (x⁽¹⁾).

Процедура применения принципа оптимальности для оптимизации N-стадийного процесса, очевидно, должна начинаться с последней стадии процесса, для которой не существует последующих стадий, могущих повлиять согласно принципу оптимальности на выбор управления u_опт^(N) на этой стадии. После того как оптимальное управление u_опт^(N) найдено для всех возможных состояний входа последней стадии x^(N-1) X, можно приступить к определению оптимального управления для предыдущей (N-1)-стадии, для которой оптимальная стратегия управления на последующих стадиях (т. е. на последней N-й стадии) известна, и т. д.

В результате может быть найдена оптимальная стратегия управления для всего многостадийного процесса, являющаяся функцией начального состояния процесса u_N^(x(0)). Если начальное состояние x⁽⁰⁾ известно (задано или выбрано из условия оптимума критерия R), то его значение определяет оптимальные управления для всех стадий процесса.

25.3 Основное функциональное уравнение.

Назовем главные признаки (свойства) задач, к которым можно применить метод динамического программирования:

Задача должна допускать интерпретацию как -шаговый процесс принятия решений.

Задача должна быть определена для любого числа шагов и иметь структуру, не зависящую от их числа.

Для k-шаговой задачи должно быть задано некоторое множество параметров, описывающих состояние системы, от которых зависят оптимальные значения переменных. Это множество не должно изменяться при увеличении числа шагов. (В рассматриваемом выше примере таким параметром было общее количество ресурса.)

Выбор решения (стратегии управления) на -м шаге не должен влиять на предыдущие решения, кроме необходимого пересчета переменных.

Пусть  – вектор параметров, описывающих состояние процесса (вектор состояния). Тогда оптимальное значение целевой функции для -шагового процесса будем  называть функцией состояния.

Пусть X_k – вектор переменных управления (стратегия), который необходимо определить на -м шаге. Тогда для задач, к которым можно применить метод динамического программирования, должно выполняться следующее основное рекуррентное соотношение:

 ,

где  – вектор состояния предыдущего ( )-го шага при условиях  и . В рассматриваемой задаче .

Сформулируем принцип оптимальности Беллмана, который обосновывает это соотношения.

Оптимальная стратегия обладает следующим свойством : для любых начального состояния и начальной стратегии , стратегия на -м шаге должна быть оптимальной только относительно текущего состояния системы и не должны зависеть от предыдущих состояний.

Таким образом, принцип оптимальности Беллмана утверждает, что оптимальное управление системой на каждом шаге не зависит от предыстории процесса, то есть как система достигла текущего состояния, а определяется только этим состоянием. Системы (процессы), которые имеют такое свойство, называются марковскими.