5.2. Постановка задач дп. Метод функціональних рівнянь р.Белмана
Розглянемо деякий керований
процес, який розвивається в часі і
розпадається на N
кроків (етапів). Стан процесу на початку
кожного кроку характеризуватимемо
вектором
,
який називають вектором стану процесу.
Множину всіх станів, в яких може
знаходитися процес на початку і-го
кроку, позначимо через
.
Початковий стан процесу вважається
відомим, якщо вектор
заданий.
Розвиток процесу полягає
в послідовному переході з одного стану
в інший. Якщо процес знаходиться в стані
,
то його стан на наступному кроці
,
визначається не тільки вектором
,
але і розв'язком
,
одержаним на і-му
кроці, тобто
.
Очевидно, що розв'язок на кожному кроці
не може бути довільним. Його слід вибирати
з деякої множини
можливих розв'язків. Розвиток процесу
протягом розглядуваного періоду можна
однозначно описати
послідовністю станів
де
.
Будь-яка послідовність
допустимих розв'язків,
яка переводить процес з початкового
стану
в кінцевий стан
буде визначати стратегію. Для повного
опису
-крокового
процесу кожній стратегії потрібно
поставити у відповідність деяку оцінку
– значення цільової функції
,
яку задамо у вигляді
суми функцій
,
значення яких одержуються на кожному
етапі процесу при переході зі стану
в стан
,
тобто
.
Тепер можна сказати, що
багатокроковий процес повністю описаний,
адже задані допустима множина станів
,
допустима множина
розв'язків
,
правила переходу з одного стану в інший.
Таким чином, загальну задачу
ДП можна сформулювати так: знайти
стратегію
,
для якої функція
досягає екстремуму.
Опишемо алгоритм розв'язування і застосуємо його до конкретної задачі.
Нехай
і
– відповідно початковий і кінцевий
стани
-
крокового процесу. Позначимо через
екстремальне значення цільової функції,
отримане за N кроків при оптимальній стратегії управління процесом, який знаходився в початковому стані .
Припустимо, що на першому
кроці ми отримали розв'язок
і процес перейшов із стану
в стан
.
Досягнутий при цьому ефект характеризується
значенням
функції
.
Вважаємо, що після першого кроку для
управління процесом застосовувалася
оптимальна стратегія, при якій на решта
кроках цільова функція
досягала екстремального значення. При
описаних умовах загальна оцінка якості
управління за
кроків виразиться сумою
,
а екстремальне значення
цільової функції за N
кроків дорівнюватиме
.
Позначимо через
екстремум цільової функції, отриманий
на
останніх
кроках, якщо початковим
був стан
.
Тоді за аналогією з останньою рівністю
одержимо:
,
.
(5.1)
Вираз (5.1) і представляє
собою математичний запис принципу
оптимальності. Його називають основним
функціональним рівнянням ДП. Рівняння
(5.1) дозволяє розгорнути процедуру
прийняття покрокових рішень і поступово
сформувати оптимальну стратегію
управління всім
- кроковим процесом. Із (5.1) видно, що при
обчисленні значення функції
,
в якості аргументу використовується
попереднє значення функції
.
Співвідношення, які мають таку властивість, називають рекурентними. Вся послідовність обчислень, яка приводить до , може бути виконана, якщо встановлено значення функцій . Рівняння (5.1) носить назву
функціонального рівняння Р.Белмана.
Метод функціональних рівнянь є одним із основних методів розв'язування задач ДП.