Г лава 12 ОПТИМАЛЬНЫЕ НЕЛИНЕЙНЫЕ СИСТЕМЫ
12.1. Задачи, приводящие к нелинейным оптимальным системам
В гл. 10 изложены методы определения оптимальных линейных систем по критерию минимума средней квадратической ошибки. Для определения оптимальной системы в этом случае нет необходи мости знать законы распределения входного и требуемого выходного
сигналов — достаточно |
знать только моменты второго порядка |
случайных величин Ult |
UN и корреляционную функцию по |
мехи N {t), а если входной полезный сигнал содержит нерегулярную часть, то и взаимную корреляционную функцию нерегулярных частей входного полезного и требуемого выходного сигналов. Это равноценно знанию математических ожиданий входного и требуемого выходного сигналов, корреляционной функции входного сигнала и взаимной корреляционной функции входного и требуемого выход ного сигналов. Естественно возникает вопрос, существуют ли нели нейные системы, превосходящие по своим качествам оптимальную линейную систему, например, дающую меньший средний квадрат ошибки, чем оптимальная линейная система. Чтобы решить этот вопрос, необходимо научиться находить оптимальные системы в классе всех возможных систем по любому критерию качества. Это необходимо также для решения ряда практических задач. Так, например, для практики большое значение имеет задача определения фазы синусоидального сигнала неизвестной амплитуды, принимае мого вместе с помехой. Зависимость этого сигнала от начальной фазы нелинейна. Поэтому естественно искать оптимальную систему в классе нелинейных систем. Другим примером задачи, в которой естественно искать оптимальную систему в классе нелинейных систем, может служить задача распознавания сигналов или ее
частный |
случай — задача обнаружения сигналов. Наконец, есте |
ственно |
искать оптимальную систему среди нелинейных систем |
в случае |
нелинейной зависимости требуемого выходного сигнала |
от параметров полезного входного сигнала, например, когда требуе мый выходной сигнал представляет собой результат некоторого нелинейного преобразования полезного входного сигнала.
Обобщая сказанное, можно отметить, что характерным призна ком задач, в которых естественно искать оптимальную систему среди нелинейных систем, являются задачи, в которых требуемый выходной сигнал нелинейно зависит от параметров входного полез ного сигнала, а также задачи, в которых как входной полезный, так и требуемый выходной сигналы нелинейно зависят от параметров.
12.2. Оптимальная система в случае линейной зависимости входного сигнала от неизвестных параметров
Рассмотрим задачу определения оптимальной системы в классе всех возможных систем, когда полезный входной сигнал 5 (/) и тре буемый выходной сигнал YT (t) определяются формулами
S(Q |
= S £ /r Ф,(0. |
YT (t) = ф (/, |
Uи .... |
UN), |
(12.1) |
|
г=1 |
|
|
|
|
где Ult. . ., |
UN — случайные |
параметры |
сигнала, |
фi (^),• ■ |
Фдг (t) — известные функции времени, а ф (/, |
Uъ . . ., |
UN) — извест |
ная функция времени t и параметров сигнала U ъ . . |
UN. В общем |
случае функция ф может быть нелинейной. Это справедливо, напри мер, для задач, когда требуемый выходной сигнал представляет собой результат некоторого нелинейного преобразования полезного входного сигнала S (t). В частном случае, когда требуемый выходной сигнал представляет собой результат линейного преобразования
полезного входного сигнала, |
|
Ут (0 = Е i/гФг (0 . |
(12.2) |
г=1 |
|
где функции фг (/) представляют собой результаты заданного линей ного преобразования функций фг (t) (г — 1,. . ., N). Задача опреде ления оптимальных линейных систем для этого случая была решена в гл. 10. Отбросим ограничения линейности и будем искать опти мальную систему в классе всех возможных систем как линейных, так и нелинейных.
|
|
|
|
|
В пп. |
10.4, 10.5 и 10.7, где определялась оптимальная линейная |
система, |
сначала находились согласованные фильтры для соответ |
ствующих |
компонент полезного входного сигнала фх (t), |
. . ., |
фдг (t), |
а затем их |
выходные сигналы усиливались и суммировались. |
Фак |
тически |
это означает, что определялась оптимальная |
линейная |
функция выходных сигналов Z x ((), . . ., ZN (t) согласованных филь тров:
У(0 = Е * г (0 z r(t). r=l
. Это значит, что заранее задавался вид функции, осуществляющей безынерционное преобразование выходных сигналов согласованных фильтров, и определялись оптимальные значения коэффициентов этой функции ^ (t), . . ., ^ { t ) . Естественно в более общем случае не задавать вид функции, а искать ее в классе всех возможных функций. Иными словами, естественно выразить выходной сигнал искомой оптимальной системы в виде:
Y(f) = B(t, Zx(0, . ... ZN(t)) |
(12.3) |
и искать оптимальную функцию 0 (t, Zlt . . ., ZN), не задавая за ранее ее вида.
Чтобы решить поставленную |
задачу, предположим, что |
за |
дана функция потерь I (Y , YT), и |
вычислим математическое |
ожи |
дание функции потерь при произвольной функции 0. В случае ква дратичной функции потерь и линейной зависимости требуемого выходного сигнала (12. 2) от случайных параметров U х, . . ., UN, рассмотренном в гл. 10, для вычисления математического ожидания функции потерь (среднего квадрата ошибки) достаточно было знать вторые начальные моменты случайных величин Uг, . . ., UN и кор реляционную функцию помехи Kn ?)■ В общем случае произ вольной функции потерь и нелинейной зависимости (12. 1) требуе мого выходного сигнала от случайных параметров Uх...........UN необходимо знать законы распределения случайных величин Uи . . ., Uдг и помехи N (t). Поэтому предположим, что задана плотность вероятности / (иг . . ., uN) случайных величин U х, . . ., UN, а по меху N (t) будем считать нормально распределенной случайной функцией, независимой от Uх, . . ., UN. Так же, как и в гл. 10, зафиксируем момент начала работы системы t0 и текущий момент t, а любой промежуточный момент времени в интервале (t0, t) обозна чим т. При фиксированном t можно считать, что выходные сигналы системы и согласованных фильтров
Y = Y(t), Zx= Z1 (i), ... , ZN = ZN(t)
являются обычными случайными величинами. Для определения математического ожидания функции потерь достаточно знать плот ность вероятности случайных величин Uх, . . ., UN и условную плотность вероятности значений выходных сигналов согласован
ных фильтров Z lt . . |
., ZN в данный |
момент времени |
t. Для того, |
чтобы определить условную плотность |
вероятности случайных вели |
чин Zi . . ., ZN при данных значениях иг, . . ., |
uN случайных пара |
метров Uх,. . ., UN, обозначим, |
как и в п. |
10. |
7, весовые функции |
согласованных фильтров через |
(t, т), |
. . ., |
gN (t, т). |
Эти весовые |
функции определяются интегральными |
уравнениями (10.88): |
Jt |
KN(t', |
r)gp{t, T)dx = (pp{t'). |
(12.4) |
^0 |
|
|
|
|
. . ., |
|
|
|
(t0^ f |
^ t ; |
p = \, |
|
N) |
|
|
Принимая во внимание, что входной сигнал системы в момент т выражается формулой
х (т) = 2 и гфг(т) + N (т),
Г=1
получаем следующие выражения для выходных сигналов согласованных фильтров в момент t:
t |
N |
t |
z p = j gp {t, т) X (t) d r = ^ |
U,bpr + J gp (t, t) N (t) dr, |
tо |
Г—I |
10 |
21* |
|
323 |
где, |
так |
же, |
как и в гл. 10, |
|
|
|
|
|
t |
|
(12.5) |
|
|
|
Ьрг= I gp(t, |
т)фг(т)с(т. |
|
|
|
^0 |
|
|
|
|
|
(Р, Г — 1, |
. . . ,/V) |
|
Так как |
при данных значениях |
ии . . ., uN случайных величин |
Ult |
. . ., |
Uдг |
выходные сигналы согласованных фильтров |
представ |
ляют собой результаты линейных преобразований помехи N(t), то условное распределение этих выходных сигналов при данных зна чениях ии . . ., « д г нормальное. Поэтому для нахождения условной плотности вероятности случайных величии Zlt . . ., ZN при данных значениях иъ . . uN величин Uг, . . ., UN достаточно вычислить условные математические ожидания, дисперсии и корреляционные моменты величин Z u . . ., ZN. Из формулы для Zp непосредственно следует, что условное математическое ожидание случайной вели
чины Zp при данных значениях |
иъ . . ., |
uN величии Uъ |
. . ., UN |
выражается формулой: |
N |
|
|
|
|
|
111р ( « х , - ■- , |
« д г ) |
ttfipri |
( 1 2 . 6 ) |
|
г= 1 |
|
|
(Р = 1 , ---- ЛД) |
|
|
а условные дисперсии и корреляционные моменты этих величин определяются формулой
kpq = Ji Jt gp (t, t) gq(/, a) KN(t, a) dx do. to to
Но на основании уравнения (12.14)
J KN(x, o)g4(t, o)do=(pq(x). 10
Подставив это выражение в предыдущую формулу и учитывая
(12. 5), получим
i |
|
|
kpq = J ёр ( Л т) % (т) dx = bpq. |
(12.7) |
to |
|
|
(р, q = \ , |
N) |
|
Используя полученные результаты, можно написать следующее выражение для условной плотности вероятности случайных величин
Zi, • ■ ., Z N :
fl (г Ъ ■■■> 2 д г | « 1 , • • • , « д г ) =
1 |
N |
|
N |
|
|
|
^ Mrbpr |
|
V (2n ) w | B | |
ъ |
УРЧ |
Ъ 1Ф qs |
р. ч=1 |
Г—1 |
S— 1 |
|
|
|
|
где | В | — определитель матрицы В с элементами brs (г, s = 1, . . |
N), |
a bjq— элементы матрицы, обратной по отношению |
к матрице |
В. |
Используя матричную запись и обозначая через z |
вектор-столбец |
с составляющими г г, . . ., zN, а через и — вектор-столбец с соста |
вляющими ии . . ., Цдг, можем представить полученное выражение
условной |
плотности |
вероятности |
случайных величин Z lt . . |
., ZN |
коротко в |
виде: |
|
|
|
|
|
к ( г \ а ) = |
1 |
ехр( — 4~ (г — B u y В~1(z — Bu ) }, |
(J2.8) |
|
V ( 2 л ) " |В \ |
У |
2 |
У |
|
где индексом «т», так же как и в п. |
10. 8, обозначена |
операция тран |
спонирования матрицы. |
|
|
|
|
Таким образом, получены все необходимые данные для вычисле ния математического ожидания функции потерь. Однако для даль нейшего целесообразно выразить математическое ожидание через безусловную плотность вероятности случайных величин Zx, . . ., ZN иусловную плотность вероятности случайных величин С/х, . . ., UN. Для этого, по известным формулам теории вероятностей, пользуясь матричными обозначениями, находим условную плотность вероят
ности случайных величин Ult |
. . ., |
UN: |
|
|
|
f ( а ) exp | ----- |
—l |
|
(z — B u ) TB ~ 1 (z — B u ) |
j |
f ( u \ z ) = - -----------^----- |
=---------------------------------- |
|
|
|
|
, (12.9) |
j / ( ® ) e x p | ----- |
^-(z — ifa>)Tfi_I (z — B v ) |
J<fo> |
где интеграл представляет собой Af-кратный |
интеграл |
по перемен |
ным tij, . . ., % — составляющим вектора v. |
Заметим, что, так как |
матрица В симметрична, то |
|
|
|
|
|
|
(z —Ви)тВ ~1(z —В и) = (z —В и ) т(В~ хг — и) = z TB~ lz — |
—z Tu —u Tz +uTB u = |
z TB ~ lz — |
|
N |
|
|
N |
|
|
|
— 2 S UrZr + |
|
S |
bpqapur |
|
r=l |
|
p, <7=1 |
|
|
|
Подставив это выражение в формулу (12. 9), найдем, что пока зательная функция ехр ( ---- \ - z TB ~ lz\ в числителей знаменателе
У2 J
сокращается. Поэтому, возвращаясь к скалярным обозначениям, можем переписать формулу (12. 9) в виде:
f (“i, • • ■, uN| Zi, • • •, |
zN) = |
xf (ult . .., |
uN) x |
,N |
|
l |
N |
| |
|
X exp | |
UrZr ■ |
2 |
^ |
, |
bpqtlpllqi , |
( 12. 10) |
|
|
" |
"pq^p^Q |
|
|
|
|
P, 9=1 |
|
325 |
|
|
|
|
|
|
где
я = J . . . J m , |
■.VN)exp |
rS= I |
VrZr— |
iV |
|
|
- I |
2 |
dvN |
( 12.11) |
p. q=1 |
|
|
|
Обозначим /i (zx, . . zN) безусловную плотность вероятности случайных величин Zx, . . ZN. Тогда, пользуясь формулой (12. 10), можно написать следующее выражение для математического ожи дания функции потерь:
00 |
со |
|
м [I (Y, Ут)] = X J . . . |
\ |
(zx...................2 д г ) dz1 . . . |
. . . |
dzN |
J |
. . . |
J |
zlf/ ( 0. |
(. /., ,zN)\ |
|
|
— CO |
— CO |
|
|
|
|
|
Ф(*, «1 . |
• • |
u N ) ) f ( u lt |
. . . , |
u N ) |
X |
|
l N |
|
|
N |
|
\ |
|
|
|
Xexp I |
urzr ---- Y |
S |
bpqllpuq\dui |
■■■ duN• |
(12.12) |
U=1 |
|
|
p, p = l |
|
J |
|
|
|
Очевидно, что эта величина будет |
иметь |
минимально возможное |
значение, если выбрать функцию 0 (t, zx, . . ., zN) таким образом, чтобы при любых значениях zlt . . ., zN внутренний интеграл имел минимальное значение. Легко видеть, что задача минимизации вну
треннего |
интеграла |
в формуле |
(12.12) при фиксированных значе |
ниях г ъ |
. . ., zN сводится к нахождению минимума функции F(Q) |
переменной 0, определяемой формулой |
|
|
со |
со |
|
|
|
F (0) = J ... |
} |
/(0, Ф (t, |
« ! ,..., uN)) f(ut ... uN) X |
|
|
— СО |
Ч -С О |
|
|
|
|
( N |
|
|
N |
|
|
х exp j 2 |
urzr — |
p q llp U q \d ll-y . . . dittf. |
( 1 2 . 1 3 ) |
|
l r=l |
p, 9 = 1 |
|
Значение переменной 0, при которой функция F(Q) достигает минимума, зависит от параметров t, zx, . . ., zN, которые были за фиксированы, т. е. является искомой функцией 0 ( t , zlt . . ., zN) выходных сигналов согласованных фильтров, при которой матема тическое ожидание функции потерь (средний риск) достигает мини мального значения.
Таким образом, найдено оптимальное безынерционное преоб разование выходных сигналов согласованных фильтров, обеспечи вающее минимум среднего риска. Структурная схема полученной оптимальной системы представлена на рис. 12. 1 .
Рис. 12.1. Структурная схема оптимальной системы
Мы нашли оптимальную систему в классе всех возможных си стем частично эвристическим путем, цостулируя, что выходной сиг нал оптимальной системы представляет собой безынерционное пре образование выходных сигналов согласованных фильтров. Можно показать, что при нормальном распределении помехи найденная система действительно является оптимальной системой в классе всех возможных систем [56, 58].
12.3. Оптимальная система при нормальном распределении
входного и требуемого выходного сигналов
Рассмотрим частный случай, когда не только помеха, но и по лезный входной и требуемый выходной сигналы распределены нор мально. При этом требуемый выходной сигнал Ут (t) линейно за висит от параметров Uъ . . ., UN:
(12-14)
г=1
а величины Uх, . . ., UN распределены нормально:
f (Uj, |
. . . , Ид,) = |
1 |
N |
) |
---- n- |
S |
см (ир — тр)(ич — тч)\, (12.15) |
|
р, q=l |
) |
где С — матрица, обратная по отношению к корреляционной мат рице случайного вектора U с составляющими Uх, . . ., UN, cpq— элементы матрицы С, а т 1г . . ., mN— математические ожидания величин Uх, . . ., UN. Предположим еще, что функция потерь пред ставляет собой функцию ошибки, т. е. разности Y—Ут:
l(Y, Yr) = l(Y — Yr). |
(12.16) |
В этом случае формула (12. |
13) |
принимает вид |
|
F(Q) |
|
i------ ———— |
со |
со |
|
/ |
N |
\ |
( |
N |
V |
(2я)" |
J |
j |
1 |
I |
0 — 2и |
Ur^r•'•] |
ехр‘ v \ |
2L i и'г' |
|
|
|
I |
■■■J |
|
|
N |
|
|
|
|
|
|
1 |
|
|
9~ |
|
[bpqtlpUg |
Cpq{Up |
Шр) faq ^<7)] 1dll± . . . |
dlljq. ( 1 2 . 1 7 ) |
P, |
П=1 |
|
|
|
|
|
|
I |
|
|
Введем новую случайную величину |
|
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
V = Q— £ (7 ri|y- |
|
|
(12.18) |
|
|
|
|
|
r= 1 |
|
|
|
Очевидно, что интеграл (12. 17) пропорционален условному мате матическому ожиданию случайной величины l(V) при данных зна чениях zlt . . ., zN выходных сигналов согласованных фильтров в момент t:
F (0) = а0М[1 (У) | гъ . . . . z;V], |
(12.19) |
где а0— некоторый коэффициент пропорциональности, не зави сящий от 0. Найдем условное математическое ожидание величины I (У). Согласно общей формуле
со |
|
М[1{У)\гъ .... zN] = j / (о) g (о |zlt .. ., zN)dv, |
(12.20) |
где g (v |Z], . . ., zN) —-условная плотность вероятности случайной величины V. Для нахождения этой плотности вероятности заметим, что случайная величина V представляет собой линейную функцию величин U1 , . . ., UN, условное распределение которых нормально и определяется на основании (12.10) формулой
f («1. • |
• •. |
Mjv| Zi, • • •, zN) = |
axexp |
f |
* |
«/Л — |
|
|
£ |
|
|
|
|
|
\r=i |
|
|
1 |
N |
\Ppqllpllq -}- Cpq (lip |
tTl^)(llq- |
\ |
(12.21) |
<r |
S |
|
где a1— нормирующий множитель, величина которого несуще ственна. Поэтому для нахождения условной плотности вероятности случайной величины V достаточно найти ее условное математи ческое ожидание и условную дисперсию при данных значениях zlt . . ., zN случайных величин Zb . . ., ZN. Для определения этих величин можно использовать общие формулы для математических ожиданий и дисперсий линейных функций случайных величин. Предварительно необходимо найти условные математические ожи дания, дисперсии и корреляционные моменты величин U ь . . ., UN. Введем для, краткости обозначение
Hr = М[1)г\гъ .... zN\.
(r= 1, .... N)
Для нахождения величин р.ъ . . u,v достаточно заметить, что согласно свойствам нормального закона распределения эти вели чины представляют собой значения переменных . . ., uN, при которых плотность вероятности (12. 21) имеет максимальное зна чение. Поэтому для нахождения условных математических ожиданий piх, . . ., [Ллг величин Uь . . ., UN достаточно продифференцировать показатель степени в выражении (12. 21) по переменным иъ . . ., uN, положить в полученных выражениях их = щ , . . ., uN = j-ijV и приравнять результаты нулю. Тогда получим уравнения
|
N |
|
|
|
' |
iLl \brq\lq-ф Crq(f.1^ |
Plq)] • • О |
|
|
4=1 |
|
|
|
или |
|
|
|
|
h |
(brq+ сг„) Ц, = |
+ |
Ъ crqtnr |
(12.22) |
? = 1 |
|
|
<7=1 |
|
(/- = 1 ,
Решив эти линейные алгебраические уравнения, найдем условные
математические ожидания щ , |
. . ., |
случайных величин U |
. . ., UN. |
Условные дисперсии и корреляционные моменты величин Uг, ..., UN— |
элементы условной корреляционной |
матрицы ир?(р, <7 = |
1 , . . . , N) |
случайного вектора 0 |
представляют собой элементы матрицы, об |
ратной по отношению к матрице В+С. |
Поэтому решение уравнений |
(12. 22) определяется формулой |
|
|
|
Мр = |
S j V |
( zr + |
Ъ crqm0) • |
(12 .23) |
|
Г— 1 |
\ |
q = l |
! |
|
(Р = 1, • • •, N)
Найдем условное математическое ожидание и условную дис персию случайной величины V. На основании (12.18) и известных формул теории вероятностей для математических ожиданий и ди сперсий линейных функций случайных величин условное математи ческое ожидание х и условная дисперсия D случайной вели чины V определяются формулами
|
|
|
|
N |
|
|
x = M [ V \ z y, |
... , zN) = |
0 — £ |
ц д , = |
е — |
|
N |
|
N |
Р = 1 |
|
|
|
|
|
|
|
— |
2j |
V V r — |
S |
W |
l V n?’ |
(12.24) |
|
p, r=1 |
p, |
q, r=l |
N |
|
|
|
|
|
|
|
|
D = D[V\z1, ... , zN] = |
S |
|
(12.25) |
P ,
Определив величины x и D, можно написать выражение для ус ловной плотности вероятности случайной величины V:
g (v \Zl, . . . . zN) = - ^ = = - 4 |
( 12.26) |
\
Подставив это выражение в формулу (12.20), можем переписать соотношение (12.19) в виде
”(0-.V)2
|
|
F (0) = а2 j I (w) е |
dv, |
(12.27) |
где |
а 2— некоторая |
постоянная, не существенная для дальней |
шего. На основании |
формул (12. 21) и (12.27) нахождение значе |
ния |
0, дающего |
минимум функции |
F (0), |
сводится к опре |
делению значения переменной х, при которой интеграл в правой части формулы (12.27) имеет минимальное значение. Для этого достаточно продифференцировать выражение (12.27) по х, при равнять результат нулю и найти такое решение полученного уравнения, при котором вторая производная F" (0) положительна.
Докажем, что F (0) имеет минимальное значение при х = О, если функция потерь представляет собой неубывающую функцию
|
абсолютной величины ошибки. В этом случае функция |
/ (и) |
четная |
|
и формула (12.27) |
может быть переписана в виде |
|
|
|
|
|
|
|
F |
|
|
{У— Х ) 2 |
|
Д±Д11 |
|
|
|
|
|
|
|
|
|
2d |
_]_ е |
2D |
dv. |
|
|
|
Дифференцируя левую часть этой формулы |
по 0, а |
правую — |
|
по х и учитывая, |
что |
на |
основании |
(12.24) |
дифференцирование |
|
по х равноценно дифференцированию по 0, |
получаем |
|
|
|
|
F'(Q) = |
% \ l ( v ) [ ( v - x ) |
(у |
х)2 |
|
(V -f- х) |
|
(р+*)8 |
dv. |
(12.28) |
|
2D |
|
|
2D |
|
Отсюда |
непосредственно |
следует, |
что правая |
часть |
обращается |
|
в нуль |
при х = 0 ,\F'{Q) ]*=o = 0. |
Для |
того |
чтобы |
доказать, что |
|
при х = 0 |
интеграл (12. |
27) |
действительно имеет минимальное зна |
|
чение, |
найдем вторую производную функцию F{Q) при х = 0: |
|
|
|
|
IF" (0)], =0= |
|
о |
(v2 — D) е~ |
|
dv = |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
у 2 |
|
V D |
|
|
|
|
|
у 2 |
|
|
|
J |
I (v) (v2— D) е |
20 |
dv — |
j |
/ (w) (D — v2) e |
20 dv |
(12.29) |
|
D |
|
Vd |
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Интегрируя по частям, убеждаемся в том, что |
|
|
|
|
|
|
|
“ |
|
_ _«=_ |
|
Vd |
|
|
__^ |
|
|
__ |
|
|
|
J (v2 — D ) e ~ 2D |
d v= J (D — v2) e |
2D dv = |
y H L . |
|
|
|
V d |
|
|
|
0 |
|
|
|
|
|
|
|
6 |
|
