книги из ГПНТБ / Методы оптимизации в статистических задачах управления

12. Определение градиента в условиях помех

При применении метода стохастической аппроксимации или любого другого метода минимизации функции в условиях помех обычно возникает потребность вычисления оценки градиента минимизируемой функции F (х) или более старших производных в точке очередного приближения х‘. Причем, так как обычно ана­ литическое выражение функций неизвестно, то оценки градиента или вторых частных производных получаются в виде отношения конечных разностей. Рассмотрим случай вычисления первых частных производных функции F (х). Предположим, что функ­ ция F (х) вычисляется на ЦВМ методом Монте-Карло на основе определения среднего значения некоторой функции Ф (х , £), где £ — случайный вектор с известным распределением

F (х) = М [Ф (х, I)].

Функция Ф (х, £), как и F (х), неизвестна, однако в результате моделирования ее значение можно определить для любой сово­ купности (х, £). Будем предполагать, что оценка среднего значе­ ния функции Ф (х, £) производится по т испытаниям. Тогда оценка s-й частной производной функции F (х) будет иметь сле­ дующий вид

Следовательно, с уменьшением А дисперсия оценки частной производной возрастает до бесконечности.

137

ческого моделирования не повлияет на математическое ожидание оценки. Дисперсия оценки будет выражаться равенством

Сравнивая формулы (318) и (319), можно заключить, что при достаточно малом значении А второй метод, называемый методом зависимых испытаний, оказывается более экономичным. В част­ ности, если влияние вектора | в функции Ф (х, £) можно предста­ вить в виде аддитивного слагаемого

Ф(х, I) = ФХ(*) + Ф а (5),

то, как видно из формулы (319), метод зависимых испытаний дает точную оценку частной производной. В монографии Ю. Г. Полляка [76] приведены примеры, иллюстрирующие эффективность применения зависимых испытаний в процессе оптимизации систем.

Для некоторого частного класса задач [6] можно получить еще более экономичное в смысле объема вычислений выражение для градиента функции и матрицы вторых производных, чем метод зависимых испытаний.

Предположим, что минимизируемая функция F (х), как и ра­ нее, вычисляется в виде среднего значения некоторой функции

где плотность вероятности р (£, х) вектора £ зависит от вектора х, а плотность вероятности вектора rj равна / (rj). Относительно функции р (I, х) предполагается выполнение следующих усло­ вий:

1) функция должна быть дифференцируема по всем компонен­ там вектора х при любом значении

2) при произвольных значениях х и | функция р (£, х) =/= 0. Конечно, такие предположения относительно функции Р (Е. х) удовлетворяются не во всех задачах, но практически для

всех интересных случаев можно сколь угодно точно аппроксими­ ровать истинный закон распределения некоторым другим законом, для которого указанные условия выполняются. Заметим, что тре­ буемые условия оказываются выполненными, если вектор £ рас-

138

пределен по нормальному закону, а вектор х характеризует его математическое ожидание:

матрицей по отношению к дисперсионной матрице Ѳ; | Ѳ| — опре­ делитель матрицы Ѳ.

Подобная задача возникает, например, при выборе оптималь­ ных средних значений случайных параметров системы регулиро­ вания, находящейся под воздействием случайного полезного сигнала и помехи. В этом случае вектор а представляет истинные значения случайных параметров в системе. С помощью вектора т] можно представить полезный сигнал и помеху, если воспользо­ ваться методом канонического разложения случайного про­ цесса [82]. Показателем качества работы системы может служить квадрат ошибки в некоторый фиксированный момент времени:

Ф (I, т]) = еа.

Из соотношения (320) следует, что функция F (х) может быть представлена в виде

Для получения частной производной функции F (х) продиф­ ференцируем выражение (322) по х{ и, учитывая сделанные отно­ сительно р (а, х) предположения, получим

В векторной форме это равенство имеет вид

Формула (323) дает возможность свести вычисление градиента функции F (X) к вычислению математического ожидания некото-

139

рои вектор-функции. Это обстоятельство позволяет определять

При проведении расчетов по формулам (324), (325) на ЦВМ основное машинное время, как правило, тратится на формирова­

(324), (325) не намного увеличивает объем расчетов по сравнению

свычислением только функции F (х).

Внекоторых случаях для ускорения сходимости итерационных методов нахождения минимума функции оказывается целесообраз-

ным использовать матрицу вторых производных d2F Выражение

для элементов этой матрицы можно получить дифференцирова­ нием выражения (323) по х;-:

140

числению математического ожидания некоторой функции и может производиться параллельно с вычислением F (я).

При нормальном законе распределения (321) вектора £ фор­ мулы (323) и (326) принимают соответственно вид:

Ч-ö-1(g—^)(g—хГѳ-1}].

При использовании формул (327) иногда бывает целесообразно ввести случайный вектор £ таким образом, чтобы матрица Ѳ стала бы диагональной.

13. Статистический подход к задаче формирования оптимального метода минимизации функции с учетом ограничения числа измерений минимизируемой функции

В предыдущих параграфах сделан обзор известных методов минимизации функции конечного числа переменных. Значитель­ ное число перечисленных методов и тенденция к дальнейшему увеличению числа методов минимизации говорит о том, что су­ ществующие методы не всегда удовлетворяют практиков.

По мнению авторов, недостатки существующих методов со­ стоят в следующем:

1.Как правило, не учитывается априорная информация о ха­ рактере исследуемой функции.

2.Значительная часть существующих методов не учитывает наличия случайных ошибок в измерениях функции. Исключение составляет лишь группа методов стохастической аппроксимации. Как показывает практика, методы характеризуются слишком низкой скоростью сходимости.

Эти недостатки приводят к увеличению числа итераций в про­ цессе оптимизации. В тех случаях, когда измерения или вычисле­ ния значений функции не связаны со значительными затратами,

применение существующих методов оптимизации дает вполне удовлетворительный результат. В тех же случаях, когда всякие эксперименты над оптимизируемыми процессами приводят к зна­ чительным затратам, целесообразно применять методы, облада­ ющие максимальной скоростью сходимости и не требующие про­ ведения большого числа измерений функции.

В связи с вышесказанным представляет интерес исследование оптимального метода нахождения минимума функции при фикси­ рованном числе измерений функции. Этому вопросу и посвящен настоящий параграф.

141

Задана некоторая система, эффективность функционирования которой определяется скалярным параметром F. Указанный параметр зависит от некоторой совокупности управляющих пара­

Точный вид функции F (х) неизвестен, так как обычно с по­ мощью аналитических методов не удается провести анализ ка­ чества функционирования системы. Однако из априорных сообра­

ция, определенная на множестве D\ с = (сх, с2, ■• •, ст) — слу­ чайный нормально распределенный вектор, математическое ожи­

Соответствующий ■подбор вектор-функции f (х) и статисти­ ческих характеристик вектора с дает возможность использовать предварительные знания о природе исследуемой системы.

Сцелью уточнения вида функции F проводятся эксперименты

ссистемой. Каждый эксперимент состоит в измерении значения функции F (х) в любой точке х области D с некоторыми ошиб­ ками г]. В частности, в результате г-го измерения в точке х1 полу­ чается скаляр уу.

где г]і — нормально распределенная центрированная случайная величина, дисперсия которой равна сг2. В общем случае диспер­ сия о2 может зависеть от точки х{, в которой проводился і-й экспе­ римент:

экспериментах статистически независимы.

Пусть имеется возможность проведения N экспериментов с си­ стемой, после чего будет получена совокупность величин у ъ Уг, ■■■, УNi образующих вектор у. В результате обработки полу­ ченных результатов можно уточнить распределение случайного вектора с и, следовательно, функцию F (х).

142

Основной задачей оптимизации является определение точки

= 1 (F — т), то х+ минимизирует вероятность того, что значение функции больше некоторого заданного порога т.

Величина М [Ф (F (х+)) ] однозначно определяется апосте­ риорными статистическими характеристиками вектора с. В рас­ сматриваемой постановке задачи вектор с апорстериорно будет распределен по нормальному закону, так как в формуле (329) у{ линейно зависит от с, а вектор с и ошибки измерения г) априорно распределены по нормальному закону [82]. Поэтому в данном слу­ чае величина М [Ф (F (х+))] одназначно определяется апосте­ риорным математическим ожиданием mN вектора с и апостериор­ ной дисперсионной матрицей Ѳ'Д

М [Ф (F (х+))] = ф (mN, Ѳ^).

Очевидно, что успех оптимизации, т. е. экстремальное значе­ ние критерия зависит от последовательности точек х 1, в которых производятся измерения функции, и от результатов измерения уК Рассмотрим задачу выбора последовательности точек х1, при ко­ торой среднее по возможным результатам измерения значение успеха оптимизации ф (mN, QN) достигает минимума. При этом

точка х+.

2. Точки приведения экспериментов определяются последо­ вательно, причем выбор х‘+1зависит от предыдущих результатов экспериментов х1, y lt х2, у 2, . . ., х1, у1.

Для вывода уравнения оптимальности воспользуемся методом динамического программирования.

Предварительно заметим, что так как апостериорное распреде­ ление вектора с после проведения произвольного числа экспери­ ментов является нормальным, то вся информация о предыдущих измерениях заключена в значении апостериорного математиче­ ского ожидания вектора с и апостериорной дисперсионной ма­ трице. Апостериорное математическое ожидание вектора с и апостериорную дисперсионную матрицу при проведении k изме­ рений обозначим тк и соответственно (k = 0, 1,2, . . ., N).

Для получения связи результатов k измерений с апостериорным математическим ожиданием (оптимальной оценкой) тк вектора с и дисперсионной матрицей Ѳ* можно воспользоваться соотноше­

143

ниями теории оптимальной фильтрации. В данном случае целе­ сообразно использовать результат Калмана [42] в дискретной форме [58]:

качества 5 при оптимальном способе выбора точек эксперимента, если осталось провести і экспериментов, а апостериорные харак­ теристики вектора с после проведения предыдущих измерений равны т и Ѳ. Очевидно, что S 0 (т, Ѳ) = ф (т, Ѳ).

Выведем рекуррентные соотношения для определения семей­ ства S t (т, Ѳ). Предположим, что уже были проведены N — і экспериментов (г = 1, 2, . . ., N) и требуется выбрать точку про­ ведения ( N — і + 1)-го эксперимента. Пусть после проведения N — і экспериментов статистические апостериорные характери­ стики вектора с были mN~l и Ѳ"- г , а ( N —■г -f 1)-й эксперимент производится в точке х £ D. Тогда апостериорные характеристики вектора с будут:

144

где математическое ожидание берется по возможным случайным результатом измерений уы-і+ь

Для вычисления математического ожидания в формуле (331) рассмотрим статистические характеристики разности

Длг_і+і = üN-i+ 1 — /* (х) mN~l .

Подставляя в выражение Ац—і+і равенство (329), получим:

Ajv—/+і = (с — mN~l )* / (х) + т)лг_«+і =

В выражении (332) случайный вектор %N_t представляет собой ошибку определения вектора с после N — і измерений. Это цен­ трированный, нормально распределенный вектор с дисперсионной матрицей . Естественно, что вектор | ЛГ_І и скаляр т]дг_м статистически независимы. Из уравнения (332) следует, что при вычислении математического ожидания в формуле (331) случай­ ную величину разности A^_m следует рассматривать как случай­ ную центрированную нормально определенную величину, диспер­

V f {xN~l+l) QN~lf (xN^ + l) + 02' e N - ‘ f (xN~ l+ l) f (x"-‘'+1) Ѳ"-' \ 1

П * " “ <+1) Qif- t f ( xif- t+ 1) + o 2)

Система уравнений (335) и (330) представляет собой рекур­ рентные соотношения, с помощью которых можно последовательно определить все функции St (т, Ѳ), начиная с (т, Ѳ), и точки проведения каждого k-vo эксперимента в зависимости от стати­ стических характеристик тк~1, Ѳ*-1 (k = 1, 2, . . N).

Основная трудность в вычислении, возникающая при реше­ нии задачи указанным способом, состоит в необходимости на каждом шаге решать задачу максимизации по ^ и запоминать систему функции S(. (т, Ѳ).

Анализируя систему рекуррентных соотношений (335), (330), можно увидеть, что задача выбора оптимальных точек наблюде­

висимых центрированных нормально распределенных чисел с еди­ ничной дисперсией.

Таким образом, показано, что задача выбора оптимальных точек измерений сводится к задаче решения системы рекуррент­ ных соотношений (335) или к решению эквивалентной задачи стохастического оптимального управления (336).

В настоящем параграфе был рассмотрен случай, когда число экспериментов под оптимизируемой системой фиксировано и равно N. Не представляет большого труда вывести аналогичные соотношения для случая, когда число экспериментов случайно или является функцией гарантированного значения критерия S.

146