6.3. Динамическое программирование

1. Принцип оптимальности.

Каждый конечный участок оптимальной траектории есть опти-мальная траектория. Это следствие аддитивности критерия опти-

мальности.

2. Уравнение Беллмана.

Пусть S (x , t) есть наименьшее значение функционала

J = ^T_∫G (x₁ ,..., x_n ,u ,τ)dτ , если в момент времени t динамический

t

объект находится в состоянии x . Для функции S (x , t) можно полу-

чить дифференциальное уравнение, называемое уравнением Белл-мана. Это уравнение в частных производных, оно имеет вид

− ^∂_∂^S_t = min{G (x , u , t )+ < grad S , f >} , где наименьшее значение

рассматривается по аргументу u , градиент вычисляется по аргу-ментам x₁ ,..., x_n .

58

3. Получение уравнения Беллмана.

Запишем для малого значения t очевидное равенство:

S ( x , t ) = min[G ( x , u , t ) t + ^T_∫ G ( x , u , t ) dτ] + 0( t) ,

t′

где 0( t) – бесконечно малая величина достаточно высокого по-

рядка, минимальное значение правой части рассматривается по ар-гументу u .

За интервал	времени	t система перейдет в	состояние
x′ = x +Δx , где	x = f ( x , u , t )	t . Начиная с состояния	x′будем оп-

тимально управлять системой, тогда будет выполняться соотноше-ние

	S ( x , t ) = min[ G ( x , u , t )			′ ′	t) .
				t + S ( x , t )] + 0(
Разложим	функцию			′ ′	в	ряд
				S ( x , t )
′ ′		t +	∂S	t и подставим это в послед-
S (x ,t ) ≈ S (x , t )+ < grad S , f >			∂t

нее соотношение. После чего разделим обе части полученного ра-венства на t и перейдем к пределу при t →0 . В итоге получим уравнение Беллмана

• ^∂_∂^S_t = min[G (x , u , t )+< grad S , f >] .

3. Примеры применения динамического программирования

Пример 6.4.1. Пусть имеется динамическая система первого по-рядка, описываемая дифференциальным уравнением

10 ^dx_dt + x = u , (6.4.1)

и задан критерий оптимальности

J = T∫x 2 (t )dt .	(6.4.2)
0

Требуется оптимально перевести систему за время T = 3 с. из начального состояния x₀ =1 в конечное состояние x_T =10 .

59

Будем решать задачу приближенно с применением дискретного варианта метода динамического программирования. Для этого вве-дем дискретный шаг времени t =1 и запишем разностное уравне-

ние x_{k +1} = ₁₀¹ (9x_k +u_k ) , соответствующее уравнению (6.4.1), а так-

2

же заменим выражение (6.4.2) интегральной суммой J_d = ∑x_k² .

k =0

Решение ведется шагами и начинается с предпоследнего значе-ния x₂ переменной x . На первом шаге записываем разностное

уравнение x₃ = ₁₀¹ (9x₂ + u₂ ) и выражение для значения критерия

оптимальности на первом шаге J_d1 = x₂² . Считаем неизвестное зна-чение x₂ параметром и для каждого значения x₂ находим опти-

мальное u₂ из условия x_T = ₁₀¹ (9x₂ + u ₂ ) =10 . Поскольку последнее

уравнение является линейным, то существует его единственное решение:

u 2 = 10 x3 − 9 x 2 = Φ2 ( x2 ) .									(6.4.3)
Минимальное значение J M критерия J			d1		равно J M = x 2				= ψ( x ) .
1						1	2		2
После того, как получены функции u	2	= Φ	2	( x )		и J M = ψ	2	( x ) пер-
					2	1			2

вый шаг считаем законченным.

На втором шаге задача состоит в том, чтобы получить зависи-

мости J M = ψ ( x )			и u	= Φ	( x )				от переменной состояния			x	. Для
2	1	1	1	1		1						1
этого записываем разностное уравнение
				x		=			1	(9x +u )			(6.4.4)
					2		10			1	1

и значение критерия J_d2 = x₁² + x₂² , соответствующее двум послед-ним шагам, и считаем переменную x₁ параметром.

Для каждого значения x₁ будем искать оптимальное u₁ , предпо-лагая, что, начиная со следующего шага, движение является опти-

мальным, т.е. J_d2 = x₁² + x₂² = x₁² + J₁^M .

Воспользуемся разностным уравнением (6.4.4) и получим

60

									J				= x 2		+ [		1		(9 x + u ) 2 ] .															(6.4.5)
											d2
													1		10						1		1
	Минимальное								значение J2M критерия																получается				при					условии
u	= Φ	( x ) = −9x							и равно J M = x 2												= ψ ( x ) . Второй шаг закончен.
1	1				1		1								2				1				1		1
	На третьем шаге поиску подлежат зависимости																												u 0 = Φ0 ( x0 )							и
J M = ψ					( x ) . Записываем разностное уравнение x =																								1	(9x				+u )		и,
			0
3							0																		1		10					0		0

предполагая оптимальность движения со следующего шага, выра-жение для критерия оптимальности

J

= J

= x 2

+ x 2

+ x 2

= x 2

+ J M = x 2

+ x 2

= x 2

+ [

1

(9x + u )2

] .

d

d3

0

1

2

0

2

0

1

0

10

0

0

После

этого

легко

получаются

выражения

u₀ =Φ ₀ ( x₀ ) = −9 x₀ , J ₃^M = ψ ₀ (x₀ ) = x₀² .

Вспоминаем, что согласно постановке задачи x₀ =1 . Поэтому

u ₀ = − 9, x₁ = 0, u₁ = 0, x ₂ = 0, u₂ =100 .

Важно отметить следующие особенности дискретного метода динамического программирования:

• метод применим, если ограничения заданы разностны-ми уравнениями;

• итоги шагов зависят только от значений переменных со-стояния;

• предположение об оптимальности движения со следую-щего шага приводит к возможности исключения после-дующих значений переменных состояния, относящихся

к последующим шагам (это важно при малом шаге дис-кретизации, т.е. при большом числе шагов).

Пример 6.4.2. В условиях примера 6.4.1 решить задачу опти-мального управления при ограничениях на управляющее воздейст-

вие u ≤12 .

Разностные уравнения имеют прежний вид, но имеется ограни-чение 10 x_{k +1} − 9 x_k ≤12 . Это накладывает ограничения на возмож-ные значения переменных состояния на каждом из шагов. В данной

61

задаче границы диапазонов значений переменных состояния можно найти на основе соотношений

xmin =

axk +1 −c

и

xmax =

axk +1 + c

, если

ax

k +1

−bx

k

≤ c .

k

b

k

b

Первый шаг осуществляется так же, как и в предыдущем приме-ре, только теперь ⁸⁸₉ ≤ x₂ ≤ ¹¹²₉ .

Второй шаг уже выполняется сложнее. Казалось бы, что на ос-

нове разностного уравнения x₂ = ₁₀¹ (u₁ +9x₁ ) следовало бы поло-

жить u₁ = −12 и получить наименьшее значение величины x₂ . Од-

нако			на значение переменной			x1	имеется ограничение
	772	≤ x ≤		1228	. Рассмотрим точку	x =	772	и возьмем u		= −12 ,
									2
81			1	81		2	81

тогда оказывается, что x₂ = ⁶⁶⁴₉₀ и это значение выходит за пределы

допустимого интервала. Будем искать управляющее воздействие из условия x₂ = ⁸⁸₉ . Это приводит к зависимости u₁ = ⁸⁸⁰₉ −9x₁ . Но не

всегда это правило может быть использовано. Например, если x₂ = ¹²²⁸₈₁ , то u₂ = −39 . Поэтому после проведения несложных рас-

суждений получим, что

										880					− 9 x1		,( x1	≤ xg ),
						u1
										9
								=
								12,( x ≥ xg ),
где	xg	=	988	,
			81
					x 2				+ (		88			)2		, (x ≤ x			),
																		g
				M			1		9							1
				J1	=					1
					x2				+ [				(−12 + 9 x )2 ], (x ≥ x								g	).
							1		10							1

62

Третий шаг следует проводить на основе тех же рассуждений, которые были использованы на втором шаге.

Контрольные вопросы

1. С какой целью используется принцип максимума?

2. С какой целью используется метод динамического про-граммирования?

3. Как формулируется принцип оптимальности?

4. Как применяется дискретный вариант динамического про-граммирования?

5. Каковы трудности применения дискретного варианта мето-да динамического программирования для систем высокого порядка?

6. Используется ли равенство нулю вариации функционала при применении принципа максимума?