Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Методы оптимальных решений. Учебное пособие-1

.pdf

Скачиваний:

Добавлен:

07.09.2026

Размер:

2 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 78 / 98 9 > Следующая >>>

Предположим, что все условные оптимальные управления и условные оп-

тимальные выигрыши (на всех шагах, начиная от данного и до конца) извест-

ны. Это значит: мы знаем, что надо делать, как управлять на данном шаге и что мы за это получим на «хвосте», в каком бы состоянии ни был процесс к началу шага. Теперь мы можем построить уже не условно оптимальное, а про-

сто оптимальное управление x* и найти не условно оптимальный, а просто оптимальный выигрыш W*.

В самом деле, пусть неизвестно, в каком состоянии S0 была управляемая система (объект управления S) в начале первого шага. Тогда мы можем выбрать оптимальное управление x

на первом шаге. Применив его, мы изменим

состояние системы на некоторое новое Si*; в этом состоянии мы подошли ко второму шагу. Тогда нам тоже известно условное оптимальное управление x которое к концу второго шага переводит систему в состояние Si*, и т. п. Что касается оптимального выигрыша W* за всю операцию, то он нам уже известен: ведь именно на основе его максимальности мы выбирали управление на первом шаге.

Таким образом, в процессе оптимизации управления методом динамиче-

ского программирования многошаговый процесс «проходится» дважды: первый раз – от конца к началу, в результате чего находятся условные оптимальные управления; второй раз – от начала к концу, когда нам остаётся только «прочитать» уже готовые рекомендации и найти безусловное оптимальное

управление x*, состоящее из оптимальных шаговых управлений x

, x

, …,

x*m.

Первый этап – условной оптимизации – несравненно сложнее и длительнее

второго. Второй этап почти не требует дополнительных вычислений.

6.4. Принцип оптимальности Беллмана

В основе общей концепции метода динамического программирования ле-

жит принцип оптимальности Беллмана, названный так по имени его разработ-

чика. Решение задач методами динамического программирования проводится на основе сформулированного Р. Беллманом принципа оптимальности: опти-

мальное поведение обладает тем свойством, что какими бы ни были первон ачальное состояние системы и первоначальное решение, последующее решение должно определять оптимальное поведение относительно состояния, получен-

ного в результате первоначального решения.

Из этого следует, что планирование каждого шага должно проводиться с учетом общей выгоды, получаемой по завершении всего процесса, что и поз-

воляет оптимизировать конечный результат по выбранному критерию.

6.5. Уравнения Беллмана

( , )

k k k

f x s







ji,

1ks

n,1

1,1 n

1is

ji,

( , )

k k k

f x s











kkk

sxf ),(

n,1

1,1 i

nj,

ji,









*1*

),(

kkk

sxf

1i







kkk

sxf

*1*

),(

( , )

k k k

f x s







1i

( , )

k k k

f x s







Задачу Pn(s0, S

) можно сформулировать следующим образом: найти

управление, которое с наибольшим эффектом за n шагов переводит объект из состояния s0 в одно из состояний sSn.

Определения и обозначения

Пусть 1 ≤ i ≤ j ≤ n, x(i, j) = (xi, …, xj)T, s

i – 1Si – 1

, Tj  Sj.

Обозначим P

j – i + 1

Задача P

j – i + 1(si –1

j – i + 1(si – 1

(x(i, j), s

xkXk(s

, Tj) следующую задачу оптимизации:

) =

i – 1

) и sk = k(xk, s

k – 1

→ max при условиях

) для k

k – 1

, sjTj.

, Tj) определяет последовательность управлений для ша-

гов с номерами от i до j, которая с максимальным эффектом переводит систему из состояния s

в одно из состояний, входящих в Tj.

i –1

Теорема 6.1 (оптимальность частей оптимального решения). Пусть x* = (

, …,

) для k

)T –оптимальное решение задачи Pn(s0, Sn). Положим,

, Tn = Sn и Tk = {

} для k

. Если 1 ≤ i ≤ j ≤ n, то вектор x*(i,

= s0,

= k(

j) = (

, …,

)T является оптимальным решением задачи P

j – i + 1

(

, Tj).

Доказательство. Предположим, что вектор x*(i, j) не является оптималь- ным решением задачи P

j – I + 1

= (xi, …,xj)T и последовательность состояний s

xkXk(s

) и sk = k(xk, s

k – 1

) для k

k – 1

(

, Tj). Тогда существуют вектор x(i, j) =

, …, sj такие, что s

i – 1

, sjTj,

j – i + 1

(x*(i, j), s

i –1

) =

= F

j – i + 1

(x(i, j), s

Построим вектор x0 = (

| k

)T следующим образом:

для k



= xk для k

Вектор x0 удовлетворяет условиям теоремы и

Fn(x*, s0) =

+ F

j – i + 1

(

, x*(i, j)) +

i –1

что противоречит выбору x*. #

+ F

j – i + 1

(

, x(i, j)) +

= Fn(x0, s0),

Задача P

1is

ji,

n,1

nk,

)(*sZ

1,1 n

()



nk,

)(*sZ

= max{Zn(xn, s) | xn  Xn(s), n(xn, s)  Sn}.

(6.3)

1,1 n

)(*sZ

= max{Zk(xk, s) | xkXk(s)} = max{fk(xk, s) +

( ( , ))

k k k

Z x s





| xk  Xk(s)}.

(6.4)

1,1 n

nk,

nk ,1

j – i + 1

(

, T

) требует найти оптимальное управление для шагов с

номерами k  ны в соответствии с планом x

при условии, что граничные условия на шагах i и j установле-

. Теорема 6.1 доказывает, что всякий «отрезок»

оптимального управления тоже является оптимальным управлением в соответ-

ствующей задаче ДП.

Определения и обозначения

Для k 

Если задача Qk(s) имеет решение, обозначим его x(k, s) = (xj(k, s) | j Это условно оптимальное управление для шагов с номерами i

и s  S

положим Qk(s) = P

k – 1

n – k + 1

(s, Sn).

)T.

максимум

= F

n – k + 1

(x(k, s), s), если задача Qk(s) имеет решение. Это условный

Для k 

, s  S

и xk Xk(s) положим Zk(xk, s) = fk(xk, s) +

k –1

, где

sk = k(xk, s).

Для s  S

и xnXn(s) положим Zn(xn, s) = fn(xn, s).

n –1

Задача Qk(s) находит управление, которое оптимально для шагов с номе- рами i

при условии, что к шагу k система приходит в состоянии s. Zk(xk, s) –

это максимальный эффект, достижимый на шагах k, …, n, если шаг k начинается в состоянии s и на этом шаге применяется управление xk.

– это макси-

мальный эффект, достижимый на шагах k, …, n, если шаг k начинается в состоянии s.

Теорема 6.2. (Уравнения Беллмана.)

Если задача Qn(s) имеет решение, то

Если k

и задача Qk(s) имеет решение, то

Доказательство. Задача Qn(s) = P1(s, Sn) имеет вид

F1(xn, s) = fn(xn, s) → max при условиях xn  Xn(s), sn = n(xn, s)  Sn,

что эквивалентно равенству (6.3).

Пусть k 

и задача Qk(s) имеет решение x(k, s) = (xj(k, s) | j

)

. По

теореме 6.1 вектор x(k + 1, s) = (xj(k + 1, s) | j

k + 1(k(xk

(k, s), s)). Поэтому

В теории оптимизации термин «условный максимум» имеет другое значение.

)T является решением задачи

)(*sZ

= fk(xk(k, s), s) +

( ( ( , ), ))

k k k

Z x k s s





( ( , ))

k k k

Z x s





( ( , ))

k k k

Z x s





)(*sZ

1()k



)(*sZ

1()k



)(

1sZk

= max{f

k –1(xk –1

, s) +

( ( , ))

k k k

Z x s





| x

k –1

 X

k –1

(s)}.

(6.5)

( ( , ))

k k k

Z x s





1()k



)(*sZ

n,2

≤

≤ max{fk(xk, s) +

| xkXk(s)} = max{Zk(xk, s) | xk  Xk(s)}.

С другой стороны, Zk(xk, s) = fk(xk, s) + xk  Xk(s), следовательно, max{Zk(xk, s) | xk  Xk(s)} ≤

≤

для всех

. Отсюда получаем

(6.4). #

Функции

называют функциями Беллмана, а связывающие их функци-

ональные уравнения (6.3), (6.4) – уравнениями Беллмана. Уравнение Беллмана для k < n использует функцию

для вычисления функции

. Такие

уравнения называют рекуррентными.

Уравнение (6.3) формализует следующее интуитивно ясное соображение. Если к последнему шагу система пришла в состоянии s, то эффекты предыду-

щих шагов уже определены, поэтому задача максимизации суммарного эффек-

та сводится к поиску допустимого на шаге n управления, которое с максималь-

ным эффектом переводит систему в одно из терминальных состояний. Другими

словами, формула (6.3) при фиксированном s описывает задачу оптимизации по одной скалярной переменной xn при ограничениях xn  Xn(s) и n(xn, s)  Sn. Сложность этой задачи определяется свойствами функций fn(xn, s), n(xn, s) и множеств Xn(s), S всех s  S

n – 1

. Сложность увеличивается тем, что задачу нужно решить для

Формула (6.4) утверждает, что оптимальное управление для шага k < n не должно (в отличие от управления для шага n) максимизировать эффект, полу-

ченный на текущем шаге. Это управление следует выбрать так, чтобы максимизировать сумму эффекта, полученного на шаге k, и наилучшего суммарного ре-

зультата, который можно получить на шагах с номерами от k + 1 до n из того состояния, в котором система закончит шаг k.

Если k > 1 и удалось вычислить функцию нение (6.4) позволяет построить функцию тельно, в (6.4) заменим k –1 на k и подставим выражение для Z

для всех s  S

k – 1(xk – 1

, то урав-

k – 1

. Действи-

k – 2

, s):

Если s  S

значения

для каждого s  S

переменной x

k –2

и x

k –1

 X

k –1

определены для всех x

является задачей оптимизации по одной скалярной

k – 2

при ограничении x

k –1

(s), то 

k – 1

k –1(xk –1

 X

k – 1

, s)  S

k –1

(s).

по теореме 6.1. Поэтому

k –1

 X

(s). Тогда вычисление

k –1

Вычисление

для каждого k 

– это одномерная задача парамет-

рической оптимизации, так как нужно найти максимум Zk(xk, s) по xk при всех

значениях параметра s из множества S

)(

= max{f1(x1, s) +

)),((

11*2

sxZ 

| x1  X1(s)}.

(6.6)

)(

n,1

)(*sx

)(*sZ

)(*sx

1,2 n

)(*sZ

)(*sx

)),((

011*2

sxZ 

)(

0*1

)(

0*1

n,2

()



1ks

n,1

)(*sZ

. Формулы (6.3) и (6.4), в принципе,

k – 1

позволяют последовательно решать эти задачи для значений k от n до 2.

При k = 1 формула (6.5) принимает вид

Функцию

нужно найти для всех s  S0 = {s

}, поэтому здесь оптими-

зация не параметрическая: достаточно решить задачу оптимизации при s = s0.

Обозначение. Для k  по xk на множестве Xk(s), точку максимума обозначим

и s S

, если функция Zk(xk, s) имеет максимум

k – 1

6.6. Метод динамического программирования

Теперь мы можем сформулировать вычислительную схему метода дина-

мического программирования.

1. Решая задачу параметрической оптимизации (6.3), находим значения

функций

для всех s S

n – 1

2. Рекуррентно (последовательно) решаем задачи параметрической опти-

мизации (6.5) для k

для всех s  S

k – 1

3. Решаем задачу Z1(x1, s0) = f1(x1, s0) +

x1  X1(s

). Находим

. При каждом k находим значения функций

→ max при условии

. Положим

= s0.

4. Для k 

последовательно находим

= k(

Первый этап метода ДП (п. 1 и 2) часто называют условной оптимизацией, а второй (п. 3 и 4) – безусловной оптимизацией. Заметим, что такое словоупо-

требление специфично для динамического программирования, в теории оптимизации эти термины имеют другие значения. Более удачные названия для ука-

занных этапов метода ДП ― обратный ход и прямой ход.

Следствие 6.1. Пусть k 

то

равно оптимальному значению ЦФ в задаче Qk(s).

, s S

. Если значение найдено методом ДП,

k – 1

Доказательство. Проведем индукцию по k, начиная с k = n.

Из определения Zn(xn, s) и описания метода ДП (п. 1) следует, что

= max{fn(xn, s) | xn  Xn(s), n(xn, s)  Sn}.

Задача Qk(s) по определению имеет вид

fn(xn, s) → max при условиях xn  Xn(s), n(xn, s)  Sn.

Очевидно, что

– оптимальное значение ЦФ в задаче Qk(s).

При k < n предположим, что утверждение верно для k + 1. Тогда для любо-

( , )

i i i

f x s







)(

1sZk 

nk ,1

)(*sZ

( ( , ))

k k k

Z x s





nk,

( , )

i i i

f x s







( , )

i i i

f x s







( ( , ))

k k k

Z x s





)(*sZ

)(

0*1

Fn(x, s0) =

( , )

k k k

f x s







→ max при условиях

x = (x1, …, xn)T  Rn, xk  Xk(s

k – 1

) и sk = k(xk, s

k –1

) для k 

n,1

, sn  Sn

)(

0*1

Fn(x, s0) =

( , )

k k k

f x s







→ max при условиях

x = (x1, …, xn)T  Rn, xk  Xk(sk

– 1

) и sk = k(xk, s

k – 1

) для k 

n,1

, sn  Sn ,

)(

0*1

го s  Sk и любого допустимого решения x = (x

, …, xn)T задачи Q

k +1

(s) спра-

k + 1

ведливо неравенство

где sk = s, si = i(xi, s

) для I 

i – 1

n – k

(x, s) =

. По построению (п. 2 и 3 описания метода

≤

ДП)

= max{fk(xk, s) +

| xk  Xk(s)}

для любого s  Sk. Пусть x = (xk, …, xn)T – допустимое решение задачи Qk(s), si = i(xi, s дачи Q

k + 1(sk

) для I 

i –1

). Поэтому

, s

= s. Тогда (x

k –1

, …, xn)T – допустимое решение за-

k + 1

n – k + 1

(x, s) =

= fk(xk, s) +

≤ fk(xk, s) +

≤

Это завершает шаг индукции, так как F

n – k + 1

(x, s) – это целевая функция

задачи Qk(s). #

Теорема 6.3 (корректность метода ДП).

Метод динамического программирования определяет значение последовательность s* = (s0,

, …,

) и вектор x* = (

, …,

)

, если и только

 R,

если задача

разрешима. В этом случае оптимальное значение ЦФ в этой задаче равно

, вектор x* является оптимальным управлением, а последовательность s*

указывает оптимальную траекторию в пространстве состояний.

Доказательство

1. Пусть задача

она же – задача Pn(s0, Sn) – имеет решение.

По определению Pn(s0, Sn) = Q1(s0), следовательно, задача Q1(s шение

. Оптимальное значение ЦФ этой задачи мы обозначили

) имеет ре-

. Из

)(*sZ

= max{Zk(xk, s) | xk  Xk(s)} = max{fk(xk, s) +

( ( , ))

k k k

Z x s





)(

*1*

* 2

)(

0*1

)(

0*1

)(

0*1

| xk  Xk(s)} при

k = 1 следует, что при

что задача Q2(

) имеет решение

= 1(

, s

) определено значение

, а это значит,

. Продолжая рассуждение, построим вектор

x* и последовательность s*.

2. Допустим, что метод ДП определил значение

 R. Тогда, в соот-

ветствии с п. 3 и 4 описанной выше процедуры, можно найти вектор x* и последовательность s*. Они по построению удовлетворяют всем ограничениям задачи. При k = 1 и s = s0 заключаем, что

равно оптимальному значению ЦФ в

задаче Q1(s0), которая совпадает с задачей.

3. Если задача Q1(s0) разрешима, то Fn(x*, s0) =

ние целевой функции в задаче достигается при x = x x* соответствует последовательность состояний s

, определенная в соответствии

. Оптимальному решению

, оптимальное значе-

с п. 3 и 4 описания метода ДП. #

На наглядном примере рассмотрим применение метода динамического программирования. Необходимо найти кратчайший путь из пункта A в пункт N. Графическая иллюстрация этой идеи представлена на рис. 6.2.

Рис. 6.2. Иллюстрация идеи динамического программирования

Как следует из рис. 6.2, полный перебор всех возможных вариантов решения задачи в целях поиска оптимального пути весьма трудоемок даже для

данной простейшей сетевой модели. В то же время задача решается достаточ-

но элементарно с использованием принципа Беллмана.

На первом шаге определяются оптимальные расстояния от пунктов H, L и M до пункта N (они равны, соответственно, отрезкам HN, LN и MN) и осуществляется переход ко второму шагу расчетов.

На втором шаге последовательно определяются оптимальные расстояния:

1) от пункта E до пункта N: opt Е = min{(EH + HN); (EL + LN); (EM+

MN)};

2) от пункта F до пункта N: opt F = min{(FH + HN); (FL + LN);(FM +

MN)};

3) от пункта G до пункта N: opt G = min{(GH + HN); (GL + LN); (GM +

MN)}.

На третьем шаге рассчитываются оптимальные расстояния:

1) от пункта B до пункта N: opt B = min{(BE + opt E); (BF+ opt F); (BG +

opt G)};

2) от пункта C до пункта N: opt C = min{(CE + opt E); (CF+ opt F); (CG +

opt G)};

3) от пункта D до пункта N: opt D = min{(DE + opt E); (DF + opt F); (DG +

opt G)}.

На последнем, четвертом шаге осуществляется расчет оптимального пути

от пункта A до пункта N:

opt A = {(AB + opt B); (AC + opt C); (AD + opt D)}.

Таким образом, использование принципа оптимальности динамического программирования позволило заменить вычисление оптимума по множеству переменных в исходной постановке решением простейших задач, в каждой из

которых оптимум находится лишь по одной переменной (как операция определения минимального числа из множества чисел).

Вместе с тем, ДП свойственны и недостатки. Прежде всего, в нем нет

единого универсального метода решения. Практически каждая задача, решаемая этим методом, характеризуется своими особенностями и требует проведения поиска наиболее приемлемой совокупности методов для ее решения. Кроме того, большие объемы и трудоемкость решения многошаговых задач, имеющих множество состояний, приводят к необходимости отбора задач малой

размерности, либо использования сжатой информации.

Последнее достигается с помощью методов анализа вариантов и переработки списка состояний. Ниже мы рассмотрим основные типы прикладных задач динамического программирования, содержание которых требует выбора

переменных состояния и управления.

6.7. Модели динамического программирования

6.7.1. Задача оптимального распределения ресурсов

Метод динамического программирования наиболее эффективен для ре-

шения нелинейных задач. К такому типу относится задача оптимального рас-

пределения ресурсов между экономическими объектами.

Пусть имеется какая-то инстанция, располагающая ограниченным объе-

мом некоторого ресурса X единиц. Существуют K объектов, претендующих на

этот ресурс. Необходимо так распределить располагаемый системой объем ре-

)(kkxf

0 1 2

…

)(11xf )0(1f )1(1f )2(1f

…

)(1Xf

)(22xf )0(2f )1(2f )2(2f

…

)(2Xf

… … … … …

…

)(kkxf )0(kf )1(kf )2(kf

…

)(Xf



)(...)()(

2211 kk

xfxfxf 

Xxxx

 ...

Xxk0

)(XF



)(...)()(max)(

2211 kkk

xfxfxfxF 

Xxxx

 ...

Xxk0

Kk ,1

)(kx

)(

xX 

)(

1 kk

xXF 



)()()(

1 kkkkk

xXFxfXF 







)()(max)(

1 kkkkk

xXFxfXF 



Xxk0

(6.7)

сурса, чтобы получить максимальную суммарную прибыль.

Для этого должны быть известны целевые функции, обозначим их fk(xk),

kє{1, …, K}, где xk – объем ресурса, выделяемый k-му объекту.

Исходные данные для целевых функций представим в табл. 6.1.

Т а б л и ц а 6.1. Функции эффективности

Суммарный доход в этом случае можно рассчитать по следующей форму-

ле:

при

, k{1, …, K}.

Оптимальный суммарный доход

от распределения X ресурсов

между K объектами вычислим по формуле

при

Заметим, что оптимизация такого функционала представляет значительные вычислительные трудности, так как предполагает полный перебор огром-

ного числа вариантов.

Пусть в распоряжении k-го объекта находится

величину

распределим между остальными объектами, но не произ-

ресурс. Оставшуюся

вольно, а оптимальным образом, т. е. с получением максимального дохода

. Тогда общий доход может быть рассчитан следующим образом:

Однако этот доход является условно оптимальным, так как с изменением

величины

он тоже изменяется. Формула безусловного оптимального дохода

имеет вид

В последней формуле известны все величины

)(kkxf

 

xXF





)(



)()(max)(

12111 



kkkkk

xXFxfxF

Xxk10

)(2xF

k



)()(max)(

21222

xXFxfxF 

Xx 20

),...,1( nk





ktk

aP



ktk

bz





























axf

000

max)(



 

)(),...,(),()(

xxxx





 

)),((),(max)(

001000

)(

uxQfuxhxf

xUu

N 

































xfaxf

110001

)(max)(



 

)(),...,(),()(

0102101101

xxxx

tttt 





 

)(),...,(),()(

xxxx

TTTT





)(0xf

для всех значений

(последняя строка таблицы функций эффективности), однако неизвестны ве-

личины

Определим эти величины по той же самой рекуррентной формуле (6.7):

Затем определяем

и т. д.

Таким образом, дойдём до последней формулы, определив

6.7.2. Задача о распределении денежных ресурсов

Пусть на предприятии имеется n видов оборудования. Объём инвестиций в оборудование в расчёте на год t равен

, так что величина

направляется на приобретение оборудования

. Сумма

делится на n слагаемых

k-го вида. Эффективность вложений в оборудование k-го вида оценивается ве- личиной годовой прибыли

. По итогам года за счёт оборудования k-го

вида, приобретённого в начале года на сумму

ный фонд в объёме

, так что

, формируется инвестицион-

. Задан период планирования

[0, T]. Нужно найти такое распределение инвестиций в каждом году периода, чтобы максимизировать суммарную прибыль за период

Решение. Обозначим через

. Рассмотрим функцию

шением будет вектор

прибыль, полученную в году t, так что

. Пусть оптимальным ре-

Через рекуррентное соотношение

следовательно вычисляем функции

по-

Пусть оптимальным решением будет вектор

. Тогда оптимальной T-шаговой стратегией будет чению прибыли за период.

, а

будет равно максимальному зна-

<<< < Предыдущая 1 2 3 4 5 6 78 / 98 9 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]