Пример 24.1

Рассмотрим сеть, изображенную на рис. 24.5.

На ее дугах проставлены соответствующие значения . Для того, чтобы применить метод итераций по стратегиям, необходимо выбрать начальную пробную стратегию, в которой для каждой вершины   имеется исходящая дуга. Пусть такой пробной стратегией является следующая:

для вершины 1 – дуга (1,4);

для вершины 2 – дуга (2,1);

для вершины 3 – дуга (3,2);

для вершины 4 – дуга (4,1).

Таким образом, эта стратегия включает единственный цикл (1,4)–(4,1). Составим систему функциональных уравнений для выбранной пробной стратегии:

                                                        (1)

Ее можно записать в следующем эквивалентном виде:

Решение этой системы следующее:

 ; .

Как видно из рис. 24.5, изменение решений возможно лишь для вершин 1 и 2, где имеется более одной исходящей дуги.

При , в соответствии с формулами (1) для вершины 1 получим

для дуги (1,4) при .

Аналогично для вершины 2

             (2)

для дуги (2,3) при .

Таким образом, если , то для каждой вершины  выполняется условие  и начальная стратегия будет оптимальной. Если , то минимум достигается на дуге (2,3), и это решение должно на следующей итерации заменить стратегию (2,1).

Пример 24.2.

Рассмотрим снова ту же сеть (рис. 24.5) при  и положим . Пусть требуется найти оптимальную стратегию, минимизирующую средние затраты за интервал времени.

 В качестве начальной пробной стратегии выберем ту же, что и в примере 24.2, и, применив формулы (24.7.9), запишем следующую систему функциональных уравнений:

Эта система имеет следующее решение

 .

Расчет показателей возможного улучшения по формулам (24.7.10) дает такие новые значения для весов :

для вершины 1:     (для дуги (1,4));

для вершины 2:  (для дуги (2,1)). Поскольку , то найдена оптимальная стратегия, для которой .

25. Динамическое программирование

Динамическое программирование - это вычислительный метод для решения задач оптимизаци специальной структуры с адитивними или мультипликативными целевыми функциями.

Динамическое программирование возникло и сформировалось в 1950-1953 гг. благодаря работам Р. Беллмана и его сотрудников. Первые задачи, которые привели к появлению вычислительного метода, были динамическими задачами управления запасами.

25.1 Метод динамического программирования для многошаговых задач принятия решений.

Для решения задач оптимизации многостадийных процессов, а также для процессов, которые могут быть математически описаны как многостадийные (Рис.25.1), применяется метод динамического программирования.

Рис. 25.1. Многостадийный процесс

Динамическое программирование применяется для оптимизации математически описанных процессов. Поэтому в дальнейшем для многостадийного процесса предполагается известным математическое описание его каждой стадии, которое представляется в общем виде системой уравнений:

x_k⁽ⁱ⁾ j _k⁽ⁱ⁾(x₁^(i-1), …, x_m^(i-1), u₁⁽ⁱ⁾, …, u_r⁽ⁱ⁾),

k 1, ..., m; i 1, ..., N,

связывающей выходные параметры i-й стадии x_k⁽ⁱ⁾ с выходными параметрами предыдущей стадии x_k^(i-1) и управлением и_l⁽ⁱ⁾ (l 1, ..., r), используемым на i-й стадии.

Систему уравнений удобно также представить в векторной форме

x⁽ⁱ⁾ j ⁽ⁱ⁾(x^(i-1)_, u⁽ⁱ⁾),

причем x⁽ⁱ⁾ вектор совокупности переменных состояния (или выход) i-й стадии;

x⁽ⁱ⁾ (x₁⁽ⁱ⁾, x₂⁽ⁱ⁾, …, x_m⁽ⁱ⁾),

a u⁽ⁱ⁾ - вектор совокупности управляющих воздействий (управление) на i-й стадии:

u⁽ⁱ⁾ (u₁⁽ⁱ⁾, u₂⁽ⁱ⁾, …, u_r⁽ⁱ⁾).

Размерности векторов состояния x⁽ⁱ⁾ и управления и u⁽ⁱ⁾ в общем случае могут быть различными для разных стадий процесса. Однако далее, не нарушая общности, можно принять, что размерности m и r векторов состояния и управления для всех стадий процесса одинаковы.

В реальных процессах на значения переменных состояния x⁽ⁱ⁾ и управляющих воздействий u⁽ⁱ⁾ могут быть наложены ограничения, определяющие диапазон изменения или взаимосвязь указанных переменных. Математически это находит выражение в появлении дополнительных условий в виде равенств или неравенств

F_j(x⁽¹⁾, …, x^(N), u⁽¹⁾, …, u^(N)),

которые должны учитываться при решении задачи оптимизации.

В дальнейшем при необходимости выразить, что значения переменных состояния или управляющих воздействий удовлетворяют ограничениям, будем использоваться запись:

,

Смысл записи заключается в том, что значения переменных x⁽ⁱ⁾ и u⁽ⁱ⁾ принадлежат к допустимым областям их изменения Х и U, ограниченным соответствующими соотношениями.

Предполагается, что эффективность каждой стадии процесса оценивается некоторой скалярной величиной

r_i r_i^*(x⁽ⁱ⁾, u⁽ⁱ⁾).

заданной в виде функции от переменных состояния стадии x⁽ⁱ⁾ и принятого на ней управления u⁽ⁱ⁾.

С учетом математического описания стадии функциональная зависимость эффективности может быть представлена также как

r_i r_i(x^(i-1), u⁽ⁱ⁾).

т. е. как функция состояния входа x^(i-1) на i-й стадии и используемого на ней управления u⁽ⁱ⁾

Результирующая оценка эффективности многостадийного процесса в целом определяется как аддитивная функция результатов, получаемых на каждой стадии:

Естественно, что значение критерия оптимальности R_N зависит от совокупности u⁽ⁱ⁾_N управляющих воздействий на всех стадиях процесса, которые представляет собой набор значений векторов u⁽ⁱ⁾ для всех стадий:

u_N (u⁽¹⁾, u⁽²⁾, …, u^(N)).

Совокупность управлений для всех стадий процесса u_N будем называть в дальнейшем стратегией управления многостадийным. процессом или просто стратегией управления.

Таким образом, задачу оптимизации многостадийного процесса можно сформулировать как задачу отыскания оптимальной стратегии

(u_опт⁽¹⁾, u_опт⁽²⁾, …, u_опт^(N)),

для которой критерий оптимальности r_n принимает в зависимости от постановки оптимальной задачи максимальное или минимальное значение.