Получается, что вместо критерия в исходной задаче мы имеем задачу нлп
Итак, каждая задача дискретного оптимального управления эквивалентна некоторой задаче НЛП, но число переменных при этом велико (r*N).
Формализация в виде задачи оптимального управления помогает генерировать новые вычислительные конструкции для задач НЛП высокой размерности, учитывающие их специфику, в частности схемы динамического программирования.
ВОПРОС №30: Принцип оптимальности Беллмана
Беллмана принцип оптимальности — важнейшее положение динамического программирования, которое гласит: оптимальное поведение в задачах динамического программирования обладает тем свойством, что каковы бы ни были первоначальное состояние и решение (т. е. “управление”), последующие решения должны составлять оптимальное поведение относительно состояния, получающегося в результате первого решения. Этот принцип можно выразить и рассуждая от противного: если не использовать наилучшим образом то, чем мы располагаем сейчас, то и в дальнейшем не удастся наилучшим образом распорядиться тем, что мы могли бы иметь.
Следовательно, если имеется оптимальная траектория, то и любой ее участок представляет собой оптимальную траекторию. Этот принцип позволяет сформулировать эффективный метод решения широкого класса многошаговых задач.
ВОПРОС №31: Функция Беллмана
Под
функцией Беллмана в текущий момент
времени понимаем минимальное значение
критерия качества в текущий момент
времени:
Если
t=0,
то
Таким образом, значение функции Беллмана S(x,t) определяет минимальную величину функционала для любого начального состояния x(t) в любой момент времени t . С другой стороны, значение функции Беллмана совпадает со значением так называемых текущих потерь на управление
или функция Беллмана совпадает с критерием оптимальности на всем интервале времени
ВОПРОС №32: Уравнение Беллмана
Ключевым в динамическом программировании является уравнение Беллмана. Оказывается для функции Беллмана можно вывести рекуррентное соотношение
Это рекуррентное соотношение имеет конечное условие S(x(N), N) = 0
Замечание: если исходный критерий оптимальности был не на минимум, а на максимум, то в уравнении Беллмана меняется только знак операции.
Итак, вычислим значение функции Беллмана при t=N-1.
S(x(N),N) = 0
В
следующий момент времени получаем
Таким образом, при t=0 значение уравнения Беллмана:
ВОПРОС №33: Прямой и обратный ход динамического программирования
Дойдя до 0 и найдя u(0), мы можем восстановить всю картину оптимального решения.
Подставим u(0) в систему мы теперь можем вычислить:
x* (1) = f(x(0), u(0)0)
u(1) = 1 (x(1))
x* (2) = f(x(1),u(1),1)
u(2) = 2 (x(2))
И так далее. Мы проиллюстрировали решение задачи методом Беллмана.
ВОПРОС №34: Задача об оптимальном распределении инвестиций, ее математическая модель
Динамическое программирование - это вычислительный метод для решения задач определенной структуры.
Рассмотрим общую постановку динамической задачи распределения инвестиций.
Для развития выделены капитальные вложения в размере S. Имеется n объектов вложений, по каждому из которых известна ожидаемая прибыль fi(x), получаемая от вложения определенной суммы средств. Необходимо распределить капитальные вложения между n объектами (предприятиями, проектами) таким образом, чтобы получить максимально возможную суммарную прибыль.
Для составления математической модели исходим из предположений:
прибыль от каждого предприятия (проекта) не зависит от вложения средств в другие предприятия;
прибыль от каждого предприятия (проекта) выражается в одних условных единицах;
суммарная прибыль равна сумме прибылей, полученных от каждого предприятия (проекта).
Данная постановка является упрощенной моделью реального процесса распределения инвестиций, и в "чистом" виде не встречается, так как не учитывает некоторые факторы, а именно: наличие "неформальных" критериев, т.е. тех, которые невозможно измерить количественно (например, согласованность проекта с общей стратегией предприятия, его социальный либо экологический характер и т.д.), в связи с чем проекты могут иметь различный приоритет;уровень риска проектов;другие факторы.
Данная задача с n переменными представляется, как многошаговый процесс принятия решений. На каждом шаге определяется экстремум функции только по одной переменной.
Пример: 4 фирмы, инвестиции в размере 700 тыс. рублей. По этим 4 фирмам их нужно распределить. Размер инвестиций кратен 100 тыс. рублей. Эффект от направления i-й фирме инвестиций в размере m (сотен тыс. рублей) выражается функцией fi(m).