23.2 Прямые методы. Стохастические квазиградиентные методы. Метод проектирования стохастических квазиградиентов.

Рассмотрим класс оперативных задач стохастического программирования, в которых необходимо минимизровать целевую функцию , измеряемую в условиях действия погрешностей.

Точное значение самой функции , а также ее производных , определить невозможно. Впрочем имеется возможность многократно наблюдать состояния природы  (внешней среды) и оценивать реализации целевой функции . В этом случае целесообразно использование прямых методов стохастического программирования, к числу которых относится метод проектирования стохастических квазиградинтов (СКГ), или стохастический квазиградиентный метод, разработанный Ю. М. Ермольевым.

Стохастический квазиградиентный метод предназначен для решения задач как стохастического программирования, так и нелинейного программирования с негладкими, но выпуклыми функциями и ограничениями в условиях неточной информации об этих функциях и их производных.

Итак, пусть требуется минимизировать

                          (23.3.1)

при ограничении

где  – выпуклое замкнутое множество;  – выпуклая негладкая функция, точное значение которой, а также его производных вычислить невозможно. В этом случае вместо точных значений градиентов или обобщенных градиентов функции  используют случайные векторы, являющиеся статистическими оценками этих величин. В методе СКГ за направление спуска и выбирают такие случайные векторы.

Итак, пусть имеется некоторое вероятностное пространство с множеством элементарных событий . Рассмотрим последовательность случайных точек  определяемых по формуле

                          (23.3.2)

где  – оператор проектирования на множество ; x₀ – произвольная начальная точка пространства;  – величина шага;  – нормируюий множитель;  – случайный вектор, условное математическое ожидание которого равно

 ,                    (23.3.3)

где скаляр ;  – случайный вектор, не зависящий от последовательности ; величины ,  измеримы по Борелю.

Как известно (см. гл. 6.8), обобщенный градиент функции  в точке  - вектор  – удовлетворяет при любом векторе  неравенству

 .                 (23.3.4)

Вектор , удовлетворяющий (23.3.3), с точностью до параметров ,  совпадает в среднем с вектором обобщенного градиента. Если положить  то  вполне естественно назвать стохастическим обобщенным градиентом (или квазиградиентом), а процедуру (23.3.2) – методом проектирования стохастических квазиградиентов.

При анализе процедуры (23.3.3) возникает вопрос о сходимости последовательности . Существуют различные варианты сходимости случайных последовательностей: по вероятности, в среднем квадратическом и с вероятностью 1 (то есть почти наверное).

Наибольший практический интерес представляет сходимость с вероятностью 1. Приведем условия, при которых эта сходимость гарантируется.

Предположим, что  а  не зависит от . Обозначим через  множество оптимальных решений задачи (23.3.1). Справедлива следующая теорема.

Теорема. Пусть выполняются условия

                         (23.3.5)

                           (23.3.6)

,                    (23.3.7)

 , с вероятностью 1.                 (23.3.8)

Пусть множество  ограничено и . Тогда последовательность , определенная согласно (8.3.2), (8.3.3), сходится к  с вероятностью 1, причем .

Доказательство. Пусть , согласно определению операции проектирования  (п. 6.8) имеем

    (23.3.9)

Возьмем операцию условного математического ожидания от обеих частей неравенства (8.3.9) при условиях x₁, x₂, … , x_s

     (23.3.10)

Поскольку  – выпуклая вниз функция, то

 ,

ведь

 .                             (23.3.11)

Поэтому, применив неравенство Коши-Буняковского  и используя (23.3.5), получим из (23.3.10)

 ,   (23.3.12)

где  – некоторая константа.

Обозначим

 .                        (23.3.13)

Тогда из (8.3.13) следует

 ,

и в силу того что  зависит только от x_s,

 .

Такая последовательность случайных величин  называется супермартингалом. Поскольку супермартингал неотрицателен ,

то он сходится с вероятностью 1. Отсюда с учетом (23.3.7) заключаем, что последовательность  сходится с вероятностью 1, следовательно, последовательность  ограничена и множество ее предельных точек  непусто. Пусть  – две произвольные предельные точки последовательности . Тогда для любого  имеем . Если теперь показать, что одна из предельных точек с вероятностью 1 принадлежит множеству , то из последнего равенства будет следовать, что она будет и единственной предельной точкой последовательности. Из (8.3.9) имеем

 .

Отсюда

  (23.3.14)

Поскольку левая часть (23.3.14) неотрицательна, то справедливо неравенство

 .

Переходя к пределу при  и учитывая (8.3.7), получим с вероятностью 1:

и в силу (8.3.6)

 .                   (23.3.15)

Поскольку , то отсюда следует, что найдется такая последовательность , что с вероятностью 1

 при ,

но  – обобщенный градиент, поэтому

 .

Следовательно, для любой предельной точки  последовательности , получим

 , то есть с вероятностью 1 .

Теорема доказана.

Покажем теперь, как с помощью метода СКГ можно конструировать различные варианты прямых методов стохастического программирования. К ним, в частности, относится метод стохастической аппроксимации.