Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003
.pdf
ТЕРМИНОЛОГИЧЕСКИЙ УКАЗАТЕЛ
Aл оритм кон чно-схо ящийся 99
оптими ции 6
îö íè íèÿ 7
"Полоск " 103
пс о р и нтный 68
ð í îìè èðî ííûé 29
ро стный 77
с о р нич ниями 77
ñ ïðî êöè é 77
ñ óñð í íè ì 75
случ йно о поиск 8, 16, 80
стох стич ской ппроксим - ции 61
ï ññè íîé 73
поиско ый 69
ð í îìè èðî ííûé 69
ñ î ìóù íè ì í õî-
70
с н пр л ниями случ й- ными 69
фиксиро нными 68
SPSA 69
Á é ñî ñêèé ïî õî 85
B êòîð ñëó÷ éíûé 109
стро о орто он льный 35 В личин р оч о ш 61
ñëó÷ éí ÿ 107
óññî ñê ÿ 35
Âî ìóù íè ïðî íî î íî ð ì í- íî 68
Вы орк послойн я 75
Äèñï ðñèÿ 108
Ç кон ольших чис л 110усил нный 111
Èнт рполяция 48
Êî ðè öèÿ 108
Коэффици нт со ой 39усил ния к лм но ский 57
Ëèíèÿ ð ð ññèè 34 Ëî ðèôì ïð îïî î èÿ 23, 90
Ì т м тич ско о и ни 107 М триц информ ционн я Фиш -
р 94 М и н 86, 92 М то р и нтный 8
Вин р Колмо оро 47
èò ð òè íûé 7
Ляпуно 118
ì êñèì ëüíî î ïð îïî î-èÿ 23, 91
н им ньших к р то 6, 10, 37
мо ифициро нный 45
р курр нтный 45
î î ù ííûé 44
Ìîíò Ê ðëî 83
Ньютон 63
р курр нтный 7
случ йно о поиск 80
стох стич ской ппроксим - ции 61
эллипсои о 104
эмпирич ско о функцион -
ë 84
Ìî 86 Ìî ëü òîð ð ññèè 42
сколь ящ о ср н о 42
ëèí éíîé ð ð ññèè 34
ð ð ññèè 33
сколь ящ о ср н о 42
Í исимость 109 Н корр лиро нность 108 Н р нст о Г ль р 110
È íñ í 110
121
Êð ì ð Ð î 94
× ûø 109
ö ë î 99
ð êóðð íòíî 100
Îптими ция 7 Отклон ни ст н ртно 108 Оц ни ни 6 Оц нк й со ск я 85, 88
ëèí éí ÿ 37
ì ðêî ñê ÿ 39
ÌÌÏ 91
ÌÍÊ 37
î î ù ííî î 38
ð êóðð íòíî î 44
мо ифициро нно о 45
î î ù ííî î 44
ð í îìè èðî ííî î 46
í ñì ù íí ÿ 37
сильносостоят льн я 37
состоят льн я 37
óñ ÷ íí ÿ 76
óñð í íí ÿ 75
ýôô êòè íû 95
Îøè ê îö íè íèÿ 37
Ïлотность пост риорн я 87
приорн я 87
ñï êòð ëüí ÿ 112
функции р спр л ния 108 По р шность 6
ñèñò ì òè÷ ñê ÿ 5
ст тистич ск я 5
Ïîì õ í èñèì ÿ 22
почти прои ольн я 41, 97
ц нтриро нн я 22
Поро о о н ч ни 26 Посл о т льность случ йн я 109 Про но о но р м нно о мущ -
íè 29, 68 Ïðî íî 48
Проц ур Киф р Вольфо иц 8, 67
Ро инс Монро 8, 64 Проц сс ст цион рный 111
ñò öèîí ðíî ñ ÿ ííûé 112
Ð ñïð ë íè 108
óññî ñêî 108
íîðì ëüíî 108 Ð ëè öèÿ 109 Ð ð ññèÿ 34 Ð ø ù ïð èëî 26
Ñ ï ð öèÿ 50 Ñè í ë ïîë íûé 21 Ñó ð è íò 79
Ò ор м Г усс М рко 39 Тр ктория 109
Óð í íè Âèí ð Õîïô 55
ð ð ññèè 61 Óñëî è Ã ëü ð 118
постоянно о о у ния 45
пс о р и нтности 118 Усло но ср н 86 Уср н ни с с ми 24
Ô ктори ция 49, 115 Фильтр Вин р Колмо оро 12, 50
К лм н Бьюси 14, 47, 57
ëèí éíûé 48
Фильтр ция 48
оптим льн я 47 Формул Б й с 86 Функцион л к ч ст 7
ñð í î ðèñê 7, 29
эмпирич ский 38, 84 Функция со я фильтр 48
Ляпуно 118
п р точн я фильтр 48
ïîò ðü 7, 29
ïð îïî î èÿ 23, 90
ð ñïð ë íèÿ 108
ð ð ññèè 7
ñï êòð ëüí ÿ 112
ñð íèõ ïîò ðü 30
устойчи я 48
ö ë ÿ 7
øòð ôí ÿ 30
кстр поляция 48
122
УКАЗАТЕЛ ЛИТЕРАТУР
1.Àë ðò À. Ð ð ññèÿ, ïñ îèí ðñèÿ è ð êóðð íòíî îö íè íè . Ì.: Í óê , 1977. 223 ñ.
2.Бр мм р К., Зиффлин Г. Фильтр К лм н Бьюси:т рминиро нны н лю ния и стох стич ск я фильтр ция. М.: Н ук , 1982. 199 с.
3. í Ì. Стох стич ск я ппроксим ция. М.: Мир, 1972. 295 с.
4. ïíèê Â.Í. Восст но л ни исимост й по эмпири- ч ским нным. М.: Н ук , 1979. 447 с.
5.Âèí ð Í. Ки рн тик , или упр л ни и с я ь и-отном и м шин . М.: Н ук , 1983. 344 с.
6.Гр ничин О.Н. О о ной стох стич ской р курр нтной проц ур при исимых пом х х н лю нии, исполь ующ й н хо про ны о мущ ния // В стник Л нин р. ун т С р. 1. 1989. Вып. 1. С. 19 21.
7.Гр ничин О.Н. Оц ни ни п р м тро лин йной р -р ссии при прои ольных пом х х // А том тик и т - л м х ник . 2002. No. 1. С. 30 41.
8.Гр ничин О.Н. Р н оми иро нны л оритмы сто- х стич ской ппроксим ции при прои ольных пом х х // А том тик и т л м х ник . 2002. No. 2. С. 44 55.
123
9.Гр ничин О.Н. Н миним ксн я фильтр ция при н и -стных о р нич нных пом х х н лю ниях // А то- м тик и т л м х ник . 2002. No. 9. С. 125 133.
10.Гр ничин О.Н., Поляк Б.Т. Р н оми иро нны л-оритмы оптими ции и оц ни ния при почти прои -ольных пом х х. М.: H ук . В п ч ти.
11.Åð ìèí È.È. Ит р ти ный м то ля ч ыш ских при ли ний н со м стных сист м лин йных н р нст // Докл ы АН СССР. 1962. Т. 143, No. 6. С. 1254 1256.
12.Åðì êî Ñ.Ì. М то Монт К рло и см ны опросы. М.: H ук , 1975. 471 c.
13.Åðì êî Ñ.Ì., Æè ëÿ ñêèé À.À. М т м тич ск я т ория оптим льно о эксп рим нт . М.: H ук , 1987. 320 c.
14.Ермоль .М. М то ы стох стич ско о про р ммиро ния. М.: Н ук . 1976. 239 с.
15.Жилинск с А. Гло льн я оптими ция. Вильнюс: Моксл с, 1986. 165 с.
16.К лм н Р.Е., Бьюси Р.С. Но ы р ульт ты ли- н йной фильтр ции и т ории пр ск ния // Тру ым рик нско о о щ ст ин н ро -м х нико . Т хни- ч ск я м х ник . С р. Д. 1961. Т. 83, No 1. С. 123 141.
17.Ê òêî íèê Â. . Ëèí éíû îö íêè è ñòîõ ñòè÷ ñêè
чи оптими ции. М.: H ук , 1976. 487 с.
18.Колмо оро А.Н. Инт рполиро ни и экстр полиро-ни ст цион рных случ йных посл о т льност й // И стия АН СССР. С р. м т м. 1941. No. 5. С. 3 14.
19.Кот льнико В.А. Т ория пот нци льной пом хоустойчи ости. М.: Госэн р ои т, 1956. 151 с.
124
20.Кр сулин Т.П., О роятности н пр ыш ния искомо о поро л оритмом стох стич ской ппроксим ции
//À òîì òèê è ò ë ì õ íèê . 1998. No. 10. Ñ. 90 94.
21.Кур нский А.Б. Упр л ни и н лю ния усло-иях н опр л нности. М.: H ук , 1977. 392 c.
22.Ëèïö ð Ð. ., èðÿ À.Í. Ст тистик случ йных проц ссо . М.: H ук , 1974. 696 c.
23.Ëüþí Ë., Ñ ðñòð ì T. И нтифик ция сист м: т ория ля поль о т ля. М.: H ук , 1991. 431 с.
24.Ì ðêî À.À. Исчисл ни роятност й. М.: ГИЗ, 1924.
25.Мих л ич В.С., Гуп л А.М., Норкин В.И. Ì òî-û н ыпуклой оптими ции. М.: Н ук , 1987. 279 с.
26.Н ин А.В.,Поляк Б.T., Цы ко А.Б. П сси н я стох стич ск я ппроксим ция // А том тик и т л м - х ник . 1989. No 11. С. 127 134.
27.Í èí À.Â., Ïî íÿê À.Ñ. А пти ный ы ор ри н- то : р курр нтны л оритмы. М.: Н ук , 1986. 288 с.
28.Н льсон М.Б., Х сьминский Р.З. Стох стич ск яппроксим ция и р курр нтно оц ни ни . М.: Н ук , 1972. 304 с.
29.Поляк Б.T., Цыпкин .З. Пс о р и нтны л о- ритмы пт ции и о уч ния // А том тик и т л м - х ник . 1973. No. 3. С. 45 68.
30.Поляк Б.T. Схо имость и скорость схо имости ит р - ти ных стох стич ских л оритмо . 1. О щий случ й
//À òîì òèê è ò ë ì õ íèê . 1976. No. 12. Ñ. 83 94.
125
31.Поляк Б.T. Схо имость и скорость схо имости ит р - ти ных стох стич ских л оритмо . 2. Лин йный слу- ч й // А том тик и т л м х ник . 1977. No 4. С. 101 107.
32.Поляк Б.T., Цыпкин .З. Оптим льны пс о р -и нтны л оритмы пт ции // А том тик и т л - м х ник . 1980. No. 8. С. 74 84.
33.Поляк Б.T., Цыпкин .З. Ро стны пс о р и нтны л оритмы пт ции // А том тик и т л м х ник . 1980. No 10. С. 91 97.
34.Поляк Б.Т. В ни оптими цию. М.: H ук , 1983. 384 с.
35.Поляк Б.Т., Цы ко А.Б. Оптим льны поря ки точности поиско ых л оритмо стох стич ской ппроксим ции // Про л мы п р чи информ ции. 1990. No. 2.
Ñ.45 53.
36.Поляк Б.Т. Hо ый м то тип стох стич ской ппроксим ции // А том тик и т л м х ник . 1990. No 7.
Ñ.98 108.
37.Поляк Б.Т., р ко П.С. Ро стн я устойчи ость и упр л ни . М.: H ук , 2002. 303 с.
38.Ð ñòðè èí Ë.À. Ст тистич ски м то ы поиск . М.: Н ук , 1968. 376 с.
39.Ð ñòðè èí Ë.À. À ïò öèÿ ñëî íûõ ñèñò ì. Ðè : Çèí òí , 1981. 386 c..
40.Ñð î è÷ Â.Ã. À ïòè íî óïð ë íè . Ì.: Í óê , 1981. 384 c.
126
41.Ñòð òîíî è÷ À.Ë. Усло ны м рко ски проц ссы и их прим н ни к т ории оптим льно о упр л ния. М.: И о Моско ск. ун т , 1966. 319 c.
42.Урясь С.П. А пти ны л оритмы стох стич ской оптими ции и т ории и р. М.: H ук , 1990. 182 c.
43.Ô ëü óì À.À. О про л м х у льно о упр л ния // М то ы оптими ции том тич ских сист м. М.: H ук , 1972. С. 89 108.
44.Фомин В.Н., Фр ко А.Л., ку о ич В.А. А п- ти но упр л ни ин мич скими о ъ кт ми. М.: Н у- к , 1981. 448 c.
45.Фомин В.Н. Р курр нтно оц ни ни и пти н я фильтр ция. М.: Н ук , 1984. 288 с.
46.Фомин В.Н. М то ы упр л ния лин йными искр т- ными о ъ кт ми. Л.: И - о Л нин р. ун-т , 1985. 336 c.
47.Фомин В.Н. Оп р торны м то ы т ории лин йной фильтр ции случ йных проц ссо . СП .: И о С.- П т р . ун-т , 1996. 306 с.
48.Фомин В.Н. Оптим льн я и пти н я фильтр ция. С.-П .: И о С.-П т р . ун-т . В п ч ти.
49.Цыпкин .З. À ïò öèÿ è î ó÷ íè òîì òè÷ ñêèõ ñèñò ì õ. Ì.: H óê , 1968. 400 ñ.
50.Цыпкин .З. Осно ы т ории о уч ющихся сист м. М.: H ук , 1970. 252 с.
51.Цыпкин .З. Осно ы информ ционной т ории и н- тифик ции. М.: H ук , 1984. 320 c.
127
52.Цыпкин .З. Информ ционн я т ория и нтифик ции. М.: H ук , 1995. 336 c.
53.Ч рноусько Ф.Л. Оц ни ни ф о о о состояния и- н мич ских сист м: м то эллипсои о . М.: Н ук , 1988. 319 с.
54.èëüì í Ñ.Â. А пти н я фильтр ция р м нных ря о . Н.Но оро : И о Н.-Но . ун-т , 1995. 180 с.
55.èðÿ À.Í. В роятность. М.: Н ук , 1980. 574 с.
56.йкхофф П. Осно ы и нтифик ции сист м упр л - ния. М.: Мир, 1975. 683 с.
57.ëüÿñ ð Ï.Å. Îïð ë íè è íèÿ ïî ð óëüò - ò ì è ì ð íèé. Ì.: Í óê , 1976. 416 ñ.
58.êó î è÷ Â.À. Р курр нтны кон чно-схо ящи ся л-оритмы р ш ния сист м н р нст // Докл ы АН
ÑÑÑÐ. 1966. Ò. 166, No. 6. Ñ. 1308 1311.
59.êó î è÷ Â.À. М то р курр нтных ц л ых н р -нст т ории пти ных сист м // Вопросы ки р- н тики. А пти ны сист мы. М.: Н учн. со . по ки-рн тик АН СССР, 1976. С. 32 63.
60.Agmon S., Motzkin T., Shoenberg I.J. The relaxation method for linear inequalities // Canadian J. Math. 1954. Vol. 6. P. 382 404.
61.Blum J.R. Multidimensional stochastic appoximation // Ann. Math. Statist. 1954. Vol. 9. P. 737 744.
62.Bode H.W., Shannon C.E. A simplified derivation of linear least square smoothing and prediction theory // Proc. IRE. 1950. N 38. P. 417 425.
128
63.Chen H.F., Duncan T.E., Pasik Duncan B. A Kiefer Wolfowitz algorithm with randomized differences // IEEE Trans. on Automatic Control. 1999. Vol. 44, N 3. P. 442 453.
64.Fabian V. Stochastic approximation of minima with improved asymptotic speed // Ann. Math. Statist. 1967. Vol. 38. P. 191 200.
65.Fisher R.A. The design of experiments. Edinburgh: Oliver and Boyd, 1935.
66.Goldenshluger A.V., Polyak B.T. Estimation of regression parameters with arbitrary noise // Mathem. Methods Statist. 1993. Vol. 2, N 1. P. 18 29.
67.Guo L. Self convergence of weighted least squares with applications to stochastic adaptive control // IEEE Trans. on Automatic Control. 1996. Vol. 41, N 1. P. 79 89.
68.Kiefer J., Wolfowitz J. Statistical estimation on the maximum of a regression function // Ann. Math. Statist. 1952. Vol. 23. P. 462 466.
69.Kushner H.J., Yin G.G. Stochastic approximation algorithms and applications. New York: Springer Verlag, 1997. 415 p.
70.Ljung L., Guo L. The role of model validation for assessing the size of the unmodeled dynamics // IEEE Trans. on Automatic Control. 1997. Vol. 42, N 9. P. 1230 1239.
71.Polyak Â.Ò., Yuditskij A.Â. Acceleration of stochastic approximation procedures by averaging // SIAM J. Contr. Optim. 1992. Vol. 30, N 4. P. 838 855.
72.Polyak Â.Ò. Random algorithms for solving convex inequalities // Inherently parallel algorithms in feasibility and
129
optimization and their applications. / Eds.: D. Butnaru,
Y. Censor and S. Reich. Elsevier, 2001. P. 409 422.
73.Robbins H., Monro S. A stochastic approximation method // Ann. Math. Statist. 1951. Vol. 22. P. 400 407.
74.Robbins H., Siegmund D. A convergence theorem for nonnegative almost super martingales and some applications // Optimizing methods in statistics. / Ed. J.S. Rustagi. New York: Academic Press, 1971. P. 233 257.
75.Schweppe F.C. Uncertain dynamic systems. New York London: Prentic Hall, 1973. 563 p.
76.Spall J.C. Multivariate stochastic approximation using a simultaneous perturbation gradient approximation // IEEE Trans. on Automatic Control. 1992. Vol. 37. P. 332 341.
77.Vidyasagar M. Statistical learning theory and randomized algorithms for control // IEEE Control Systems. 1998. N 12. P. 69 85.
78.Weiner N. The extrapolation, interpolation and smoothing of stationary time series with engineering application. New York: Technology Press and Wiley, 1949.