2 Динамическое программирование

Динамическое программирование – это математический метод нахождения оптимальных решений многошаговых (многоэтапных) задач. Динамическое программирование дает возможность принять ряд последовательных решений, обеспечивающих оптимальность развития процесса в целом.

2.1 Общая постановка задачи динамического программирования

Рассматривается управляемый процесс, например, процесс использования ресурсов в течение ряда лет, замены оборудования, пополнения запасов и т.д. В начальный момент времени система S (объект управления) находится в начальном состоянии S₀.

На первом шаге под действием переменной управления система переходит из состояния S₀ в состояние S₁, т.е. S₁= S₁(S₀,x₁). Здесь целевая функция равна F₁(S₀,x₁). Всю цепочку переходов системы можно изобразить в виде графа (рисунок 2).

x_n-1

x_n

x₂

x₃

x₁

…

F_n(S_n-1,x_n)

F₃(S₂,x₃)

F₂(S₁,x₂)

F₁(S₀,x₁)

Рисунок 2 - Граф состояний системы при многошаговом процессе

Обозначим через Х = (x₁,x₂,…,x_n) управление, переводящее систему за n шагов из начального состояния S₀ в конечное состояние S_n.

Целевая функция на k-м шаге F_k(S_k-1,x_k) () называется функцией Беллмана.

Задача состоит в том, чтобы подобрать управление Х, переводящее систему за n шагов из начального состояния S₀ в конечное состояние S_n, чтобы достичь экстремума целевой функции

Z(S₀, X) = F₁(S₀, x₁) + F₂(S₁, x₂) + … + F_n(S_n-1,x_n) = .

В основе решения задач динамического программирования лежит принцип оптимальности Беллмана: на каждом этапе принимается такое решение, которое обеспечивает оптимальность с данного этапа до конца процесса, т.е. на каждом этапе необходимо принимать решение, просматривая его последствия до самого конца процесса.

Функциональные уравнения Беллмана – это математическая формулировка принципа оптимальности Беллмана. Оптимальное управление обладает следующим свойством: каковы бы ни были начальное состояние S₀ и решение в начальный момент времени, последующие решения должны составлять оптимальное управление относительно состояния, полученного в результате предыдущего решения.

Предположим, что в задаче необходимо найти максимум целевой функции. На n-м шаге , т.е. выигрыш на n-м шаге зависит только от выбора управления x_n на этом шаге.

На (n-1)-м шаге

т.е. на (n-1)-м шаге надо так подобрать управление x_n-1, чтобы сумма выигрышей на (n-1)-м шаге F_n-1(S_n-2,x_n-1) и на n-м шаге Z_n(S_n-1(S_n-2,x_n-1)) была максимальна.

На (n-2)-м шаге

т.е. на (n-2)-м шаге надо так подобрать управление x_n-2, чтобы сумма выигрышей на (n-2)-м шаге F_n-2(S_n-3,x_n-2) и на двух последних шагах

Z_n-1(S_n-2(S_n-3,x_n-2)) была максимальна.

На k-м шаге

т.е. на k-м шаге надо так подобрать управление x_k, чтобы сумма выигрышей на k-м шаге F_k(S_k-1,x_k) и на n-k последующих шагах Z_k+1(S_k(S_k-1,x_k)) была максимальна.

2.2 Общая схема решения задачи динамического

программирования

1.Определяют все состояния системы при переходе из начального состояния S₀ в конечное состояние S_n, вид целевых функций на каждом шаге

F_k(S_k-1,x_k) (), функции перехода S_k(S_k-1,x_k) из состояния S_k-1 в состояние S_k.

2. Записывают уравнения Беллмана.

3. Из уравнения Беллмана для Z₁(S₀) по S₀ находят оптимальное управление на 1-м шаге . По S₀ и определяют состояние системы после 1-го шага:

4. Из уравнения Беллмана для для Z₂(S₁) по S₁ находят оптимальное управление на 2-м шаге . По S₁ и определяют состояние системы после 2-го шага: И т.д.

Условно этот процесс можно представить так:

S₀   S₁  S₂ … S_n-1 .