Метод динамического программирования, функция состояния, уравнение Беллмана
Динамическое программирование представляет собой математический аппарат, разработанный для решения некоторого класса задач математического программирования путем их разложения на относительно небольшие и, следовательно, менее сложные задачи. Специфика метода динамического программирования состоит в том, что для отыскания оптимального управления планируемая операция разделяется на ряд последовательных шагов или этапов. Соответственно и сам процесс планирования операции становится многошаговым и развивается последовательно, от этапа к этапу, причем каждый раз оптимизируется управление только на одном шаге.
В основе динамического программирования лежат 2 принципа:
Первый- принцип оптимальности Беллмана: каковы бы ни были начальное состояние системы и принятое решение, все последующие решения на остальных шагах должны составлять оптимальную стратегию относительно состояния, возникающего в результате первого решения.
Второй- принцип вложения: природа задачи, допускающая использование метода динамического программирования, не меняется при изменении числа шагов.
Структура процессов, исследуемых методом динамического программирования, должна удовлетворять следующим условиям:
небольшое число переменных
* управляемый процесс- Марковский, т.е. предыстория не имеет значения при определении будущих действий
* критерий эффективности J является аддитивным.
Состояние на каждом шаге характ-ся некоторой переменной величиной, кот. называется параметром состояния. Наилучший эффект на данном этапе вместе с уже рассмотренными шагами хар-ся функцией состояния. Решение конкретной задачи методом динамич. программирования сводится к выбору параметра состояния, составлению ф-ии состояния и рекурентных соотношений, связывающих ф-ии состояния для двух соседних последовательных этапов, и их применению для выбора оптимального управления.
Составить математическую модель и записать функциональное уравнение Беллмана (рекуррентное соотношение), расшифровать все переменные и функции, входящие в него для следующей задачи:
Предприятие производит некоторое изделие, на которое оно имеет заказ на п месяцев.
Необходимо
спланировать объем выпуска
и
хранения
продукции для
каждого месяца его работы при условии,
что суммарные затраты на производство
и хранение продукции за п
месяцев
будут минимальными при полном
удовлетворении
спроса на продукцию. При этом уровень
запасов к началу первого месяца
задан,
а к концу последнего
.
Известны также спрос
на продукцию в каждом j-м
месяце и затраты
на
производство
и хранение
единиц
продукции в каждом j-м
месяце.
F(x1, x2, x3, x4) =f1(x1) + f2(x2) + f3(x3) + f4(x4)
x1+x2+x3+x4= Z(700)
gk= max( fk(xk) + gk-1 (Z-xk)) F= g4(Z)
xk= 0, 100, 200, 300, 400
G3 F3 |
0 100 200 300 400 |
0 100 200 300 400 |
95 97 105 101 99 |
g3(400) =105