14.2. Составление математической модели динамического программирования

Дополнительно введем следующие условные обозначения:

s – состояние процесса;

S_i – множество возможных состояний процесса перед i-м шагом;

W – выигрыш с i-го шага до конца процесса, .

Можно определить следующие основные этапы составления математической модели задачи динамического программирования.

1. Разбиение задачи на шаги (этапы). Шаг не должен быть слишком мелким, чтобы не проводить лишних расчетов и не должен быть слишком большим, усложняющим процесс шаговой оптимизации.

2. Выбор переменных, характеризующих состояние s моделируемого процесса перед каждым шагом, и выявление налагаемых на них ограничений. В качестве таких переменных следует брать факторы, представляющие интерес для исследователя, например годовую прибыль при планировании деятельности предприятия.

3. Определение множества шаговых управлений х_i, и налагаемых на них ограничений, т. е. области допустимых управлений X.

4. Определение выигрыша

(14.3)

который принесет на i-м шаге управление х_i, если система перед этим находилась в состоянии s'.

5. Определение состояния s', в которое переходит система из состояния s под влиянием управления x_i,

, (14.4)

где – функция перехода на i-м шаге из состояния s в состояние s' .

6. Составление уравнения, определяющего условный оптимальный выигрыш на последнем шаге, для состояния s моделируемого процесса

(14.5)

7. Составление основного функционального уравнения динамического программирования, определяющего условный оптимальный выигрыш для данного состояния s с i-го шага и до конца процесса через уже известный условный оптимальный выигрыш с (i+1)-го шага и до конца:

. (14.6)

В уравнении (14.6) в уже известную функцию W_i+1(s), характеризующую условный оптимальный выигрыш с (i+1)-го шага до конца процесса, вместо состояния s подставлено новое состояние , в которое система переходит на i-м шаге под влиянием управления x_i.

Заметим, что структура модели динамического программирования отличается от статической модели линейного программирования. Действительно, в моделях линейного программирования управляющие переменные – это одновременно и переменные состояния моделируемого процесса, а в динамических моделях отдельно вводятся переменные управления x_i,, и переменные, характеризующие изменение состояния s под влиянием управления. Таким образом, структура динамических моделей более сложная, что естественно, так как в этих моделях дополнительно учитывается фактор времени.

14.3. Этапы решения задачи динамического программирования

После того как выполнены пункты 1–7, изложенные в предыдущем параграфе, и математическая модель составлена, приступают к ее расчету. Укажем основные этапы решения задачи динамического программирования.

1. Определение множества возможных состояний S_m для последнего шага.

2. Проведение условной оптимизации для каждого состояния на последнем m-м шаге по формуле (14.5) и определение условного оптимального управления x(s), .

3. Определение множества возможных состояний S_i для i-го шага, .

4. Проведение условной оптимизации i-го шага, для каждого состояния по формуле (14.6) и определение условного оптимального управления x_i(s), , .

5. Определение начального состояния системы s₁, оптимального выигрыша W₁(S₁) и оптимального управления x₁(S₁) по формуле (14.6) при i=1. Это есть оптимальный выигрыш для всей задачи .

6. Проведение безусловной оптимизации управления. Для проведения безусловной оптимизации необходимо найденное на первом шаге оптимальное управление подставить в формулу (14.4) и определить следующее состояние системы . Для измененного состояния найти оптимальное управление , подставить в формулу (14.4.) и т. д. Для i-го состояния s_i найти и и т. д.

КОНТРОЛЬНЫЕ ВОПРОСЫ

1. Дайте понятие динамического программирования.

2. В чем заключается постановка задачи динамического программирования?.

3. Дайте понятие шагового управления.

4. Дайте понятие оптимального управления.

5. В чем заключается принцип оптимальности Беллмана?

6. Определите постановку задачи динамического программирования.

7. Назовите этапы решения задачи динамического программирования.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Архипов, Г. И., Лекции по математическому анализу [Текст] : учебник для университетов / Г. И. Архипов, В. А. Садовничий, В. Н. Чубариков ; под ред. В. А. Садовничего. – М. : Высшая школа, 1999. – 695 с.

2. Корнб Г. Справочник по математике [Текст] / Г. Корн, Т. Корн ; под ред. И. Г. Абрамовича. – М. : Наука, 1977. – 831 с.

3. Советов, Б. Я. Моделирование систем [Текст] / Б. Я. Советов, С. А. Яковлев. – М. : Высш. шк., 2001. – 343 с.

4. Бусленко, Н. П. Лекции по теории сложных систем [Текст] / Н. П. Бус­ленко, В. В. Калашников, И. Н. Коваленко. – М. : 1973. – 440 с.

5. Емельянов, С. В. Управление гибкими производственными системами : модели и алгоритмы [Текст] / С. В. Емельянов. – М. : Машиностроение, 1987. – 368 с.

6. Акулич, И. Л. Математическое программирование в примерах и задачах [Текст] : учеб. пособие / И. Л. Акулич. – М. : Высшая школа, 1993.

7. Вентцель, Е. С. Исследование операций. Задачи, принципы, методология [Текст] / Е. С. Вентцель. – М. : Наука, 1977.

8. Банди, Б. Основы линейного программирования [Текст] / Б. Банди – М. : Радио и связь, 1989.

9. Максимей, И. В. Математическое моделирование больших систем [Текст] : учеб. пособие / И. В. Максимей. – Минск : Высшая школа, 1985.

10. Вентцель, Е. С. Задачи и упражнения по теории вероятностей [Текст] : учебн. пособие для студентов вузов / Е. С. Вентцель, Л. А. Овчаров. – М. : Издательский центр “Академия”, 2003. – 448 с.

11. Вентцель, Е. С. Теория случайных процессов и ее инженерные приложения [Текст] / Е. С. Вентцель, Л. А. Овчаров – М. : Издательский центр “Академия”, 2003. – 432 с.

12. Экономико-математическое моделирование [Текст] : учебник для студентов вузов ; под ред. И. Н. Дрогобыцкого. – М. : Издательство “Экзамен”, 2004. –800 с.

13. Шалыто, А. А. Алгоритмизация и программирование задач логического управления [Текст] / А. А. Шалыто. – СПб. : ГУ ИТМО, 1998. – 55 с.

14. Феллер, В. Введение в теорию вероятностей и ее приложения [Текст] в 2 т. / В. Феллер. – М. : Издательство “МИР”, 1963.

15. Тарасик, В. П. Математическое моделирование технических систем [Текст] : / В. П. Тарасик. – Мн. : ДизайнПРО, 2004. – 640 с.

17. Кельтон, В. Имитационное моделирование [Текст] / В. Кельтон, А. Лоу – СПб. : Издательская группа BHV, 2004. – 847 с.