KS_tema_9 (1)

Тема 9. МЕТОДЫ РЕШЕНИЯ ЗАДАЧ ДИНАМИЧЕСКОЙ

ОПТИМИЗАЦИИ

9.1 Задачи динамической оптимизации в непрерывном времени

9.1.1 Типичная задача динамической оптимизации в непрерывном времени

Обыкновенно задача динамической оптимизации может быть записана в следующем виде:

где V есть значение целевой функции, посчитанное в начальный момент времени t0 0 ,

0,T есть временной горизонт, на котором рассматривается оптимизация (T может быть как конечным числом, так и бесконечностью),

c(t) называется переменной контроля, поскольку выбирая её, мы максимизируем целевую функцию V (например, выбирая потребление, максимизируем приведённое значение полезности),

k(t) называется переменной состояния, поскольку первое ограничение (называемое

законом движения) описывает независимую (заданную моделью) эволюцию этой переменной во времени (например, закон движения капитала), тем самым определяя состояние, в котором находится система в данный момент времени.

9.1.2 Гамильтониан и условия первого порядка

Примечание. В случае, когда задача динамической оптимизации содержит более, чем одну переменную контроля и более, чем одну переменную состояния (в этом случае на каждую переменную состояния будет свой закон движения), Гамильтониан будет содержать правую часть каждого уравнения, умноженного на соотвествующий множитель Лагранжа (аналогично Лагранжиану), и условия первого порядка, описанные выше, записываются для каждой переменной контроля и каждой переменной состояния.

9.1.3 Гамильтонианы текущего и приведенного значения целевой функции

Целевая функция в экономических моделях, записанных в непрерывном времени,

обычно имеет вид f k(t),c(t),t e tu k(t),c(t) , чтобы учесть непрерывное дисконтирование стоимости (или полезности) во времени, где есть постоянный темп дисконтирования, а e t является коэффициентом дисконтирования.

Гамильтониан, записанный по правилу, приведённомувыше

H PV e t u k(t),c(t) (t)g(k,c,t)

можно назвать Гамильтонианом приведённого значения целевой функции (поскольку он соответствует значению u k(t),c(t) , приведённомук моментувремени t0 0 ).

В некоторых случаях удобнее работать с так называемым Гамильтонианом текущего значения целевой функции, который соответствует значению u k(t),c(t) в момент времени t :

H CV e t H PV u k(t),c(t) (t)g(k,c,t) ,

где (t) (t)e t . Тогда условия первого порядка для такого вида Гамильтониана легко получить простым преобразованием условий первого порядка для обычного Гамильтониана, приведённых выше. Итак

F.O.C.:

H 0 ;c

H ;k

(t) 0, (t)h(k,c,t) 0

T k(T ) 0 , если рассматривается конечный временной горизонт.

9.2 Задачи динамической оптимизации в дискретном времени

9.2.1 Модель оптимального роста

Методы решения задач динамической оптимизации в дискретном времени лучше понять на конкретном примере – модели оптимального роста. Пусть у нас есть представительное бесконечно-живущее домашнее хозяйство с предпочтениями,

заданными функцией полезности

t u(ct ) , t 0

c 0

домашнее хозяйство имеет в своём распоряжении единицу времени, которую может предлагать в качестве затрат труда.

Производство может осуществляться по технологии

yt F(kt ,lt ) ,

где yt - уровень выпуска, kt - количество капитала, участвующего в производстве, lt -

затраты труда. Также будем предполагать, что функция F(kt ,lt ) обладает обычными свойствами неоклассической функции, описываемыми в теме 2 данного пособия.

Закон движения капитала в экономике можно описать уравнением

kt 1 (1 )kt it ,

k0 - задано,

где it есть валовые инвестиции периода t , а 0 1 - темп выбытия капитала. Ресурсные ограничения в экономике выглядят следующим образом:

ct it yt

lt 1.

Одним из способов организации рынков и производства в этой экономике является следующий. Потребители наделены начальным капиталом k0 , который они накапливают и сдают в ренту фирмам каждый период времени. Фирмы покупают ресурсы (затраты труда и используемые в производстве услуги капитала) у потребителей на конкурентных рынках каждый период и максимизируют периодные прибыли.

При такой организации экономики, стандартным результатом является то, что конкурентное равновесие в ней является единственным и первая и вторая теоремы благосостояния выполняются, что означает, что набор последовательностей уровней потребления, капитала, инвестиций и затрат труда, соотвествующий конкурентному равновесию, является Парето оптимальным. Это, в свою очередь, означает, что этот набор последовательностей, соответствующий конкурентному равновесию, можно найти, решив

задачу социального планирования, которая имеет следующий вид:

k0 - задано.

Поскольку u(c) строго возрастающая функция, то неравенство в (9.2) в оптимуме будет выполняться как равенство. Также поскольку затраты труда не входят в функцию полезности, их можно беспрепятственно повышать до максимально возможных,

302 Методы решения задач динамической оптимизации

например, увеличивая потребление и оставляя неизменным движение капитала. Таким образом, неравенство (9.3) в оптимуме выполняется как равенство.

выглядит страшной, особенно если учесть, что надо искать бесконечные последовательности. Однако, на эту задачу можно взглянуть и по-другому. В начале любого периода t максимум целевой функции социального планировщика (полезности,

которую он доставляет потребителю) зависит только от количества капитала, доступного на начало периода. Поэтому естественно говорить о kt , как о переменной состояния

задачи. В течение периода переменными выбора (или переменными контроля) будут ct

и kt 1 .

В период времени 0, если мы знаем уровень максимальной полезности, который социальный планировщик может дать потребителю, начиная с периода времени 1, как функцию от k1 , (например, V (k1 ) )мы сможем решить задачу для первого периода. Таким образом, в период времени0 социальный планировщик решает следующую задачу:

социального планировщика со времени не изменяется за исключением переменной состояния, то мы можем записать для начального периода

V (k0 ) max u(c0 ) V (k1 )

c0 ,k1

c0 k1 f (k0 ) (1 )k0

k0 - задано,

или для любого периода t .

Математически этот переход объясняется очень просто. Если

то t

max u(ct ) V (kt 1 )

ct ,kt 1

(9.5)

(9.6).

Уравнение (9.4) называется функциональным уравнением или уравнением Беллмана. Задача, записанная в форме (9.4), (9.5), (9.6) называется задачей записанной в

функциональной форме, поскольку записана в терминах значений функции V () в

разных состояниях системы и решение предполагает поиск вида этой функции.

Итак, для того, чтобы решить задачу, записанную в функциональной форме,

необходимо знать функцию V () . В общем случае функция V () неизвестна, но уравнение Беллмана может быть использовано для её поиска. В большинстве экономических моделей уравнение Беллмана удовлетворяет условиям теореме о сжимающем отображении, что подразумевает выполнение следующих свойств:

1)Существует единственная функция V () , удовлетворяющая уравнению Беллмана,

2)Функцию V () можно найти как неподвижную точку сжимающего отображения, заданного уравнением Беллмана:

Vi 1 (k) max u(c) Vi (k

c,k

c k f (k) (1 )k ,

limVi 1 (k) V (k) .

i

Из этих двух свойств следуют методы поиска функции V ()

1.Метод «Угадай и проверяй». Нужно догадаться о виде функции V () , подставить его в уравнение Беллмана и, если это возможно найти коэффициенты в функции

V () , позволяющие уравнению Беллмана выполняться.

2.Итеративно-аналитический метод с использованием сжимающего отображения,

записанного в свойстве 2.

3.Итеративно-численный метод с использованием сжимающего отображения,

записанного в свойстве 2. Задается произвольная начальная функция V () , которая строится на решетке значений для капитала k k1 ,k2 ,...,km , ki ki 1 . Если у нас одна переменная состояния, как в этой модели – количество капитала, то мы должны оптимизировать значение функции V () по m значениям решётки.

Проблема резко усложняется численно, если у нас много переменных состояния.

Если их, скажем, n , то оптимизировать уже надо по mn точкам решетки, а это при достаточно большом разбиении m просто может оказаться невычисляемым в разумное время.

9.2.2 Решение моделиоптимального роста методом «Угадай и проверяй»

Пусть в нашей модели F(kt ,lt ) kt lt1 , u(ct ) ln ct , а 1 (то есть имет место полное выбытие капитала). Тогда, подставляя потребление, выраженное из (9.5) в (9.4),

мы переписываем уравнение Беллмана следующим образом:

V (kt ) max ln kt kt 1 V (kt 1) .

kt 1

Теперь мы сделаем догадкуо том, что целевая функция имеет вид

V (kt ) ln kt ,

где и неизвестные нам коэффициенты. Подставим этот вид функции в записанное выше уравнение Беллмана и получим

Условие первого порядка, записанное для максимума в правой части этого равенства даёт

или

Подставляя полученное оптимальное значение для kt 1 назад в выражение (*), получим