- •Введение в математическую экономику
- •1. Предмет и задачи математической экономики
- •2. Математическое моделирование экономических систем
- •3. Примеры экономических задач оптимизации и управления
- •4. Общая схема принятия решений. Виды и параметры экономических задач оптимизации и управления
- •5. Оптимальное поведение и его формализация в экономико-математических моделях
- •Тема 1. Элементы финансовой математики
- •1.1. Сущность финансовой математики
- •1.2. Основные категории, используемые в финансово–экономических расчетах
- •1.3. Фактор времени в финансово–экономических расчетах
- •1.4. Наращение
- •1.5. Дисконтирование
- •1.6. Номинальная и эффективная ставка
- •1.7. Эквивалентность процентных ставок
- •1.8. Сущность инфляции
- •1.9. Учет инфляции при расчете наращивания
- •1.10. Кредитные расчеты. Равные процентные выплаты
- •1.11. Погашение долга равными суммами
- •1.12. Равные срочные выплаты
- •1.13. Потребительский кредит
- •Тема 2. Оценка инвестиционных процессов
- •2.1. Особенности инвестиционных процессов
- •2.2. Чистый приведенный доход
- •2.3. Срок окупаемости
- •2.4. Внутренняя норма доходности
- •2.5. Построение оптимального портфеля
- •2.6. Моделирование финансовых рисков
- •2.7. Принципы определения цены
- •2.8. Простейший и классический процессы риска
- •Тема 3. Основы актуарной математики
- •3.1. Предмет актуарной математики
- •3.2. Использование решающего правила Байеса
- •3.3. Задача о разорении. Вероятность разорения
- •3.4. Сложные пуассоновские процессы
- •3.5. Неравенство Лундберга
- •3.6. Определение вероятности окончательного разорения в экспоненциальном случае
- •3.7. Влияние перестрахования на вероятность разорения. Задача о разорении и перестрахование
- •Тема 4. Задачи оптимизации и управления в экономике
- •4.1. Основные понятия исследования операций
- •4.2. Классификация задач исследования операций
- •4.3. Построение экономико-математической модели
- •4.4. Линейное программирование
- •4.5. Геометрический метод решения задачи линейного программирования
- •4.6. Симплекс-метод решения задачи линейного программирования
- •4.7. Транспортная задача линейного программирования
- •4.8. Задача коммивояжера и метод ветвей и границ
- •2) Построение нижних и верхних оценок минимального значения целевой функции.
- •3) Отсеивание вариантов.
- •4.9. Нелинейное программирование. Метод множителей Лагранжа
- •4.10. Задача выпуклого программирования
- •4.11. Понятие о параметрическом и стохастическом программировании
- •4.12. Общая постановка задачи динамического программирования
- •4.13. Принцип оптимальности и уравнения Беллмана
- •4.14. Задача о распределении средств между предприятиями
- •4.15. Общая схема применения метода дп. Задача об оптимальном распределении ресурсов между отраслями на n лет
- •Тема 5. Математические модели экономических процессов
- •5.1. Линейные модели экономики
- •5.2. Модель Леонтьева «Затраты-выпуск»
- •5.3. Планирование производства в динамике (модель Неймана «расширяющейся» экономики)
- •5.4. Математическая теория потребления. Формализация предпочтения потребителя при выборе товаров
- •5.5. Функция полезности как критерий оценки товаров
- •5.6. Предельный анализ и понятие эластичности в теории потребления
- •5.7. Оптимизационная модель задачи потребительского выбора. Уравнение Слуцкого
- •5.8. Математическая теория конкурентного равновесия
- •5.9. Рыночный спрос и рыночное предложение. Условия совершенной конкуренции. Модель Вальраса
4.13. Принцип оптимальности и уравнения Беллмана
Принцип оптимальности впервые был сформулирован Р. Беллманом в 1953 г. Каково бы ни было состояние s системы в результате какого-либо числа шагов, на ближайшем шаге нужно выбирать управление так, чтобы оно в совокупности с оптимальным управлением на всех последующих шагах приводило к оптимальному выигрышу на всех оставшихся шагах, включая данный. Беллманом четко были сформулированы и условия, при которых принцип верен. Основное требование — процесс управления должен быть без обратной связи, т.е. управление на данном шаге не должно оказывать влияния на предшествующие шаги.
Принцип оптимальности утверждает, что для любого процесса без обратной связи оптимальное управление таково, что оно является оптимальным для любого подпроцесса по отношению к исходному состоянию этого подпроцесса. Поэтому решение на каждом шаге оказывается наилучшим с точки зрения управления в целом. Если изобразить геометрически оптимальную траекторию в виде ломаной линии, то любая часть этой ломаной будет являться оптимальной траекторией относительно начала и конца.
Уравнения Беллмана. Вместо исходной задачи ДП с фиксированным числом шагов п и начальным состоянием рассмотрим последовательность задач, полагая последовательно при различных — одношаговую, двухшаговую и т.д., используя принцип оптимальности.
Введем ряд новых обозначений. Обозначения в ДП несут большую информационную нагрузку, поэтому очень важно их четко усвоить.
На каждом шаге любого состояния системы решение нужно выбирать «с оглядкой», так как этот выбор влияет на последующее состояние и дальнейший процесс управления, зависящий от . Это следует из принципа оптимальности.
Но есть один шаг, последний, который можно для любого состояния планировать локально-оптимально, исходя только из соображений этого шага.
Рассмотрим n-й шаг: - состояние системы к началу n-го шага, - конечное состояние, - управление на n-ом шаге, а — целевая функция (выигрыш) п-го шага.
Согласно принципу оптимальности, нужно выбирать так чтобы для любых состояний , получить максимум целевой функции на этом шаге.
Обозначим через максимум целевой функции - показателя эффективности п-го шага при условии, что к началу последнего шага система S была в произвольном состоянии , а на последнем шаге управление было оптимальным.
называется условным максимумом целевой функции на п-м шаге. Очевидно, что
(4.13)
Максимизация ведется по всем допустимым управлениям .
Решение , при котором достигается , также зависит от и называется условным оптимальным управлением на п-м шаге. Оно обозначается через .
Решив одномерную задачу локальной оптимизации по уравнению (4.13), найдем для всех возможных состояний две функции: и .
Рассмотрим теперь двухшаговую задачу: присоединим к n-му шагу (n-1)-й (рис. 4.6).
Для любых состояний , произвольных управлений и оптимальном управлении на n-м шаге значение целевой функции на двух последних шагах равно:
(4.14)
Согласно принципу оптимальности для любых решение нужно выбирать так, чтобы оно вместе с оптимальным управлением на последнем (n-м) шаге приводило бы к максимуму целевой функции на двух последних шагах. Следовательно, нужно найти максимум выражения (4.14) по всем допустимым управлениям . Максимум этой суммы зависит от , обозначается через и называется условным максимумом целевой функции при оптимальном управлении на двух последних шагах. Соответствующее управление на (n-1)-м шаге обозначается через и называется условным оптимальным управлением на (n-1)-м шаге.
(4.15)
Следует обратить внимание на то, что выражение, стоящее в фигурных скобках (4.15), зависит только от и , так как можно найти из уравнения состояний (4.10) при к=п-1
и подставить вместо в функцию .
В результате максимизации только по одной переменной согласно уравнению (12.7) вновь получаются две функции:
и .
Далее рассматривается трехшаговая задача: к двум последним шагам присоединяется (n-2)-й и т. д.
Обозначим через условный максимум целевой функции, полученный при оптимальном управлении на п-к+1 шагах, начиная с k-го до конца, при условии, что к началу k-го шага система находилась в состоянии . Фактически эта функция равна
Тогда
Целевая функция на n-k последних шагах (рис. 4.7) при произвольном управлении на k-м шаге и оптимальном управлении на последующих n-k шагах равна
.
Согласно принципу оптимальности, выбирается из условия максимума этой суммы, т.е.
(4.16)
Управление на k-м шаге, при котором достигается максимум в (4.16), обозначается через и называется условным оптимальным управлением на k-м шаге (в правую часть уравнения (4.16) следует вместо подставить выражение , найденное из уравнений состояния).
Уравнения (4.16) называют уравнениями Беллмана. Это рекуррентные соотношения, позволяющие найти предыдущее значение функции, зная последующие. Если из (12.5) найти . то при k=n-1 из (4.16) можно определить, решив задачу максимизации для всех возможных значений , выражения для и соответствующее . Далее, зная , находим, используя (4.16) и (4.10), уравнения состояний.
Процесс решения уравнений (4.13) и (4.16) называется условной оптимизацией.