24.7 Задачи оптимизации на сетях и графах.

Многие динамические задачи оптимального планирования и управления (например, управления запасами, распределения ресурсов и др.) можно представить в виде сети (или графа), в которой каждому состоянию системы соответствует некоторая вершина сети и задача оптимального управления сводится к задаче отыскания кратчайшего маршрута в сети (на графе).

Рассмотрим, например, некоторую сеть, которая содержит  вершин, и множество ориентированных дуг, которые соединяют некоторые вершины (рис. 24.4). Поставим в соответствие каждой допустимой стратегии в состоянии  дугу . Перемещению по каждой дуге  соответствуют определенные затраты (эффект) . Предположим, что время перемещения из вершины  в вершину  равно одиному временному отрезку, а коэффициент дисконтирования (дисконт-фактор) обозначим через .

Пусть маршрут начинается из некоторой произвольной вершины . Предположим, что из вершины  направляемся к вершине , при этом возникают дисконтированные затраты . Если процесс длится на протяжении неограниченного времени, то маршрут является бесконечным.

Обозначим через y_i интегральные дисконтированные затраты (ИДЗ) для оптимального бесконечного маршрута, который начинается в вершине . Если выбранная стратегия является стационарной, то  каждый раз, возвратившись к вершине , мы снова выберем ту же стратегию  (то есть дугу), что и в предыдущем случае захода в эту вершину.

Пусть существует стационарная стратегия, которая является оптимальной, тогда соответствующие величины ИДЗ удовлетворяют следующей системе функциональных уравнений:

 для всех вершин ; .   (24.7.1)

Возникают вопросы:

 Всегда ли можно для всех значений  отыскать однозначное и конечное решение?

Если ответ на первый вопрос – “да”, то является ли соответствующая стационарная стратегия действительно оптимальной?

Ответы на оба вопроса являются утвердительными. Они следуют из теоремы о стационарной стратегии.

Всегда существуют однозначно определенные конечные , , и соответствующая им стационарная стратегия является оптимальной.

Рассмотрим методы решения системы функциональных уравнений (24.7.1) и отыскание оптимальных стратегий.

Метод итераций по критерию

Рассмотрим систему функциональных уравнений вида

 для всех .

Ее решение методом итераций по критерию состоит из следующих шагов.

1. Задаемся начальными значениями  (например, ) и .

2. Вычисляем  для всех .

3. Если  для всех , то заканчиваем вычисления, в противном случае – переходим к второму шагу очередной итерации, положив .

Если все  и все , то значения  возрастают монотонно и каждое из  сходится к своему пределу, однако сходимость не гарантируется за конечное число итераций.

Метод итераций по стратегиям (в пространстве стратегий)

Рассмотрим метод итераций по стратегиям для решения системы функциональных уравнений.

Первый шаг. Выберем произвольную начальную стратегию и положим , . Заметим, что выбор стратегии означает выбор некоторой дуги  для каждой вершины.

Второй шаг. Для заданной пробной стратегии вычислим значения  в соответствии с системой уравнений (расчета “стоимости” вершин):

 или ,              (24.7.3)

где дуга  отображает выбранную пробную стратегию для состояния (вершины) .

Третий шаг. Проверим возможность дальнейшего улучшения стратегий, для чего вычислим

 для всех                     (24.7.4)

Четвертый шаг. Если = для всех , то прекратим вычисления. Текущая стратегия будет оптимальной. В противном случае изменим текущую стратегию для каждой вершины  , для которой < . Для этого в качестве новой стратегии выберем дугу, которая позволяет достичь значения  (в (24.7.4)). Перейдем на второй шаг ( )-ой итерации с новой пробной стратегией.

Метод итераций по стратегиям обладает следующими свойствами:

для любой вершины    и, если < , то < ;

алгоритм является конечным;

стратегия, позволяющая по завершению вычислений достичь , является оптимальной.