книги из ГПНТБ / Коваленко И.Н. Полумарковские модели в задачах проектирования систем управления летательными аппаратами

стро разрастаются», и задание правила остановки с по­ мощью «дерева» становится весьма громоздким. В целях упрощения молено использовать следующий метод (при этом во многих важных случаях не сужаются возможно­ сти построения оптимальных решении). Определяют не­ которые функции фп= фп(ёь • ■■. &л)> а, останавливать ли процесс наблюдения на п-м шаге, решают лишь на осно­ вании значения ф„.

В этом случае правило остановки можно представить себе как некоторую систему барьеров для блуждающей частицы (рис. 1.6). Если блуждающая точка (п, ф„) по­ падает на один из барьеров при п—т, то это . означает, что процесс наблюдения заканчивается на /п-м шаге.

Понятно, что для любой последовательности наблю­ даемых случайных величин можно указать бесчисленное множество правил остановки. Каким же образом срав­ нивать эти правила и выбирать среди них оптимальные?

ДОПУСТИМ, ЧТО ДЛЯ Любого ПІ^гО II ЛЮбЫХ Л'і, ...., хп определена некоторая функция убытка у = уп{х\, •.., хп). Эта функция интерпретируются как убыток, который бу­ дет понесен в случае, если процесс наблюдения останов­ лен на п-м шаге и при этом первые п наблюдений при­ няли значения: |і=.ѵі,..., \ п —хп. Предположим, что нам известен вероятностный закон, управляющий образова­ нием случайных величин | ь | 2>..., .... Тогда, коль скоро задано правило остановки ѵ(£і,£2, • • •). в принципе молено вычислить среднюю характеристику

Байесовский принцип оптимальности правила оста­ новки состоит в выборе такого правила остановки ѵ*, для которого

При этом обычно правила остановки, для которых нельзя придать смысл указанному выше математическому оншданию, исключаются из рассмотрения.

Правило V* называется оптимальным (байесовским) правилом остановки процесса наблюдения,

50

Иногда удобно вместо функции убытка задавать так называемую функцию пользы. В этом случае оптималь­ ным правилом остановки будет то, при котором /(ѵ) до­ стигает максимума.

Фундаментальную роль в теории оптимальных правил остановки играет система рекуррентных уравнений для минимального риска. Приведем эти уравнения, дав в об­ щих чертах схему их вывода.

Пусть используется некоторое правило остановки ѵ. Каждой возможной траектории случайной последова­ тельности (ёь Ъ, ■■■, Іп, ■• •) соответствует некоторое зна­ чение убытка у V(іі,. . ?ѵ), где ѵ=ѵ(£ь g2,...). Выше было отмечено, что оптимальное правило состоит в мини­

ния должно быть таким, чтобы минимизировать условное математическое ожидание д(ѵ)(хь ..., хп) убытка при условии, что получены указанные наблюдения. Функция б(ѵ)(хь ..., хп) называется риском после п наблюдений.

одно из двух решений: сделать еще хотя бы одно наблю­ дение или сделать остановку. Допустим, что принято пер­ вое из этих решений. Тогда мы будем иметь н+1 наблю­ дений а'і, ..., хп, |„+і. Следуя после этих наблюдений оптимальному правилу остановки, мы понесем убыток, математическое ожидание которого равно Q(XI,:.., х „,

£п-и).

Риск после п наблюдений при условии, что будет сде­ лано еще хотя бы одно наблюдение и после этого будет применяться оптимальное правило остановки, равен

Qi (xv ...,xn)= M[Q(x1,...,xn, 5Я+1)| Ь = х ѵ ...,S„=x„]. (1. 136) Предположим, что принято второе решение: остановить

51

Объединение этих двух случаев приводит к рекуррентной формуле для оптимального риска:

Зная Q(хі,..., х„+і) при всех х|1+ь мы можем по этой формуле вычислить g (хь .... х„).

Оптимальное правило остановки теперь определяется

новку; если yn>Qu обязательно делаем еще хотя бы одно

в смысле риска, и можно принять любое из них. Однако, любая рекуррентная формула требует неко­

торых начальных условий: нужно каким-то образом за­

задания состоит в следующем.

Заранее ограничим число наблюдений некоторым N и будем’’выбирать оптимальное правило остановки ѵМ при этом ограничении. Отметив все введенные выше функции при данном ограничении индексом (N) вверху, получим:

Таким образом, процесс вычисления Q(A/)(X), ..., х„) вполне определен. Правило остановки ѵ(УѴ) определяется, как и выше, функциями уп{хь ..., хп) и Q\w {xu ..., хп).

Заметим теперь, что для оптимального правила оста­ новки V

52

Очевидно, QS^ QM Е сли при достаточно большом N

Q№—Q ^ e,

где е>0 — допустимое отклонение от оптимального риска, то вместо ѵ можно использовать vW.

Таким образом, следует лишь найти соответствую­ щее N, если, конечно, оно существует. Современная тео­ рия подобных вопросов изложена в книге [11]. Здесь же мы ограничимся следующим рассуждением.

Таким образом, если Сп—уоо при я—>-оо, то по любому Б>0 найдется соответствующее значение N,

Несмотря на принципиальную простоту построения оптимального правила остановки, фактическое вычисле­ ние оптимального риска представляет собой трудную задачу. Поэтому представляет интерес рассмотрение слу­ чаев, когда построение оптимального правила остановки может быть осуществлено непосредственно. Один из та­ ких случаев рассматривается ниже. При выполнении определенных условий монотонности, как следует из леммы, которая будет приведена, возможно непосредст­ венное определение оптимального управления процессом.

Пусть имеется возможность наблюдать последова­

могут быть векторы многомерного пространства). Сов­ местный закон распределения этих случайных величин предполагается известным. Пусть, далее задана функция убытка Уп=Уп(х\,..., хп) (я^О), имеющая согласно предыдущему смысл убытка при остановке процесса на

53

п-ы шаге после получения наблюдений со значениями

і і = х\, • • ■>in —хп.

Лемма12. Пусть существует правило остановки V*(х'ь ,ѵ2, ...), обладающее следующими свойствами:

правилом остановки среди всех правил остановки ѵ, для которых УИ[ѵ] конечно.

Заметим, что в соответствии с нашим основным опре­ делением, оптимальность правила остановки понимается в смысле минимизации функционала І(у) . Если же за­ дана функция пользы и указанный функционал надлежит максимизировать, лемма перефразируется симметричным

1См. работы [16, 55, 56].

2В силу определения правила остановки выполнение неравенств *„,...) и п^2гѵ(хі,..., Хп,~.) не зависит от переменных .ѵп+ь

54

Пусть V — произвольное правило остановки. Фикси­ руем некоторое УѴ^О и зададим правило остановки ѵ(ІѴ)

вило остановки, для которого М[ѵ]<оо. Тогда |/(ѵ) | <оо и для любого е > 0 можно указать такое N, что

/ Ю < / ( ѵ ) + £.

Таким образом, если правило остановки усекать до­ статочно далеко, математическое ожидание основного функционала г/ѵ претерпит от этого сколь угодно малое изменение.

Д о к а з а т е л ь с т в о . Введем символ Е(А) для обо­ значения случайной величины, принимающей значение «1» при происшествии события А и значение «О» в про­ тивном случае. Тогда, например, £(ѵ = 0) есть случайная величина, которая равна единице при ѵ = 0 и равна нулю при ѵ=т^0. В таком случае

/ М = 2 М \у^ Е{У-=ѣ)'

л=0

поэтому

} і Ш < І'Уі М [ ]уп\}Е-(ѵ= гі). п=*О

Если ѵ = 0, утверждение леммы выполняется очевид­ ным образом; поэтому предположим, что ѵ>0. В этом случае без ограничения общности можно считать, что у0 = 0, и предыдущая формула перепишется так:

ft-1 n-=ft

55

а при любых фиксированных значениях этих переменных условное математическое ожидание значения \уи—уи-і\ не больше К, то

Просуммировав по всем А, найдем

00

|/(ѵ )|< /с 2 Р(Ѵ> А)= /С М М <оо. ft-i

Таким образом, первое утверждение «свойства воз­ можности усечения» доказано.

Рассмотрим теперь правило остановки vN. Имеем

56

Ha основании полученного выше результата послед­ нее выражение представляет собой остаток сходящегося ряда. Отсюда /(ѵл,)-ѵ/(ѵ).

Сформулируем теперь некоторую лемму (назовем ее «частной леммой»).

.Частная лемма. Пусть выполнены условия леммы.

время /(v*jV)-^/(v), I (vN)^-I (ѵ) . Отсюда /(ѵ * )^ /(ѵ ). Докажем частную лемму. Для простоты изложения

ограничимся случаем, когда | „ могут принимать лишь ко­ нечное число различных значений. Общее доказатель­ ство можно осуществить по тому же принципу, однако лишь с помощью абстрактной записи некоторых соотно­ шений, что усложнило бы понимание существа вопроса.

Допустим, что V — некоторое правило остановки, для

Рассмотрим первую возможность. Определим новое решающее правило ц следующим образом:

!і(х(°),...,х(і°),...) = « + 1 ;

если (хѵ ...,хп) ф (JCJ0*,...,;:^), то

[г to,..., х„,...)=ѵ(*ЛГ) ta,...,

57

По формуле полного математического ожидания / (ѵ) = Р ц у ..., У - (л'і13>,..., x(riu>)J AI [;/„ (x(°)„... 4°>Л +

леммы последнее выражение меньше или равно нулю. Это означает, что если согласно правилу остановки ѵ процесс наблюдения останавливается раньше, чем это предписывается правилом остановки, определенным лем­ мой, то можно определить новое правило остановки, не худшее предыдущего и такое, что для рассматриваемого значения вектора наблюдений решение об

остановке принимается на один шаг позднее. Очевидно, эту процедуру можно осуществить для произвольного

вектора (4 0),--> 40))> Для которого

■ѵ(4°),...,л-<!°),...) = /і и ѵ*ЛГ(л'(0), ...,4 0)) > 0 .

Приходим к выводу, что, не увеличив значения /(ѵ), можно полностью исключить существование векторов указанного вида.

Рассмотрим теперь вторую возможность. Пусть суще­ ствуют векторы (4 0),.--, 4 °^ ’ Для которых

ѵ<*Л'>(40>,...,4°>,...)</і; ѵ (4°\...,4°> ,... ) > « + 1.

Выберем из них вектор, для которого п максимально (такой вектор найдется, поскольку по определению ѵ(*л,)(а'і, X2, . . . ) ^ N для любых хи х2, ...). Это означает,

58