5ый семестр / 8. Системный анализ (complete)_1 / SA / не мое / ТС и СА_гр.447_2019 / Учебные пособия / СЕРГЕЕВ_МАКЕТ

Оценки максимального правдоподобия при некоторых предположениях асимптотически оптимальны в том смысле, что их среднеквадратическая ошибка аппроксимации при объеме выборки n(n → ∞) достигает минимально

возможное значение, совпадающее с нижней границей неравенства Рао– Крамера. Действительно, для произвольной несмещенной оценки αn спра-

ведливо неравенство Рао–Крамера [1]

Здесь α – истинное значение параметра; I ( p) – фишеровская информация

Пусть xi – независимые случайные векторы с плотностью p(x) . Тогда оценка максимального правдоподобия (2) асимптотически нормальна:

n(αn −α) ~ N(0, S),S = (BI ( p))−1 , B = MBn .

Сопоставляя это с (5), получаем, что (2) – асимптотически эффективная оценка.

Однако оценки максимального правдоподобия не являются стабильными при малых отклонениях распределений от предполагаемого. Рассмотрим простейший пример. Пусть f (x,α) ≡α R1 , тогда оценка максимального правдоподобия для нормального распределения есть выборочное среднее

плотность; h(z) – плотность распределения с бесконечной дисперсией (модель редких больших выбросов), то выборочное среднее имеет бесконечную

171

дисперсию. Иначе говоря, оценка αn в этом случае не только не оптимальна,

но даже не состоятельна, хотя функция распределения помехи близка к нормальной.

Стабильныйметодмаксимальногоправдоподобия

Рассмотрим стабильный метод оценивания параметров функций, предполагая, что известен лишь некоторый класс плотностей распределений вероятностей помех P, p P . Естественным представляется следующий способ

оценивания в такой ситуации. Выберем «наименее благоприятное» распределение p* из P, для которого правая часть (5) максимальна, и применим метод максимального правдоподобия для p* . Таким образом, получаем

α

p* = arg min I ( p).

p P

По существу, этот подход для одномерной задачи оценки центра распределения был впервые предложен в работе [2], где автор рассмотрел класс P распределений, близкий к нормальному, и нашел для него p* и оценочную

функцию F * . Анализ ряда других классов P и обобщение на задачи регрессионного типа было проделано в [3, 4]. Там же приведены рекуррентные варианты алгоритмов оценивания и результаты вычислений. Ниже кратко описываются полученные в [3, 4], результаты.

Приведем примеры классов распределений помех P и соответствующих наименее благоприятных распределений p* и оценочных функций F * :

А. Класс P1 всех невырожденных распределений: P1 ={p : p(0) ≥ε > 0}. Тогда p* – распределение Лапласа, F * (z) = z и метод (7) сводится к методу наименьших модулей (4).

Б. КлассP2 распределений сограниченнойдисперсией: P2 ={p: ∫z2 p(z)dz ≤σ2}.

Тогда p* – нормальное распределение F * (z) = z2 и метод (7) сводится к методу наименьших квадратов (3).

В. Класс P3 «приближенно нормальных» распределений: P3 ={p =(1−c)g +ch,

этом случае является промежуточным между методом наименьших квадратов и методом наименьших модулей. По существу, этот метод осуществляет автоматическую отбраковку аномальных (резко выделяющихся) измерений.

случае ( f (x,α) ≡α) метод (7) дает оценку αn , такую что число измерений yi , меньших αn −a, равно числу измерений, больших αn + a.

172

Можно рассмотреть и ряд других классов P : «финитных» и «приближенно финитных» распределений, классы распределений, близких к нормальному или равномерному в других метриках и т. д.

Основная теорема об асимптотической оптимальности в минимаксном смысле оценок (7) может быть сформулирована так. Пусть F * (z) = −log p* (z) симметрична, выпукла и удовлетворяет условию Липшица, плотность p(z) помехи ξ симметрична и непрерывна в точках скачков ψ * (z) = F * (z)', причем существует отрезок, на котором F * (z) отлична от линейной , а p(z) положительна. Пусть задача линейна: f (x,α) = xTα, причем xi – случайная выборка из распределения с плотностью P , причем xi и ξi взаимно незави-

симы, xi ограничены и матрица B = ∫xxT dP(x) невырождена. Тогда оценка (7) асимптотически нормальна

Если Р – выпуклый класс распределений, в котором множество {p : I ( p) < ∞}

плотно, а p* = arg min I ( p) существует, то

p P

Иначе говоря, для всего класса Р гарантируется равномерная оценка асимптотической матрицы ковариаций an , и эта оценка не может быть лучше для лю-

бой другой функции F.

Учетинформацииорешении. Методмаксимумаапостериорнойвероятности

До сих пор использовалась лишь априорная информация о статистических характеристиках помех, а априорная информация о решении не использовалась. Перейдем теперь к описанию возможных способов учета априорной информации о решении.

Начнем с простейшего случая. Пусть известны p(z) – плотность помех ξi и po (a) – плотность априорного распределения решения. Тогда вместо ме-

тода максимального правдоподобия (2) целесообразно применить метод максимума апостериорной вероятности:

а f (x,α) ≡ xT α, то получаем

173

Таким образом, вместо решения системы Bc ≡ b (как в методе наименьших квадратов) здесь нужно решать систему

Иначе говоря, метод максимума апостериорной вероятности для гауссова случая приводит к решению регуляризованной системы нормальных уравнений. Параметр регуляризации cn полностью определяется отношением дис-

персий помехи и априорного распределения решения.

Отметим, что статистический подход к решению некорректных задач и методу регуляризации как к способу учета априорной информации о решении рассматривался рядом авторов [5, 6].

В негауссовском случае метод (10) приводит к способам оценивания, отличным от стандартного метода регуляризации. Пусть, например, f (x,α) ≡α R1 , p(z) – плотность распределения Лапласа L(0,c), p0 (α) – гаус-

сова плотность N (α0 ,σ02 ).Тогда

Наконец, если p0 (α) – равномерная плотность на некотором ограниченном множестве Q RN , метод (10) принимает вид

так что вместо безусловного минимума в (2) здесь ищется минимум той же функции при наличии ограничений α Q.

174

Если применить к рассматриваемой задаче неравенство Крамера–Рао для случайных параметров [8], то для линейного случая ( f (x,α) = xT α) и лю-

( p P, p0 P0 ), то в соответствии с изложенным выше подходом следует вы-

нижняя граница точности оценки, задаваемая (14), максимальна. Если выбрать в качестве скалярной характеристики матрицы, которую нужно максимизировать, ее детерминант, то этот подход приводит к следующему стабильному способу оценивания:

αn = arg min[∑F * ( yi − xiT α) + F0* (α)],

Подчеркнем, что оценочная функция F * оказывается той же, что и для задач при отсутствии априорной информации о решении.

Приведем примеры классов P0 и соответствующих им функций F0*. Для простоты ограничимся одномерным случаем (α R1 ) :

А. Априорное распределение α симметрично с центром α0 и дисперсией

При n → ∞ алгоритм (16), как нетрудно видеть, совпадает с (10) (т. е. роль априорной информации стремится к 0 с ростом n).

При малых объемах выборки малых n метод (16) обладает существенными преимуществами в силу более полного учета априорной информации. Кроме того, минимизируемая в (16) функция лучше обусловлена, и искать ее минимум легче. Так, для гауссового случая матрица В может быть близка к вырожденной, а матрица B + βn I (12) положительно определена. Поэтому

решение (12) устойчиво и менее чувствительно к разного рода ошибкам.

175

Методнепараметрического оцениванияфункциирегрессии

Рассмотрим задачу идентификации статического объекта в условиях априорной непараметрической неопределенности о структуре модели

где yi* , xi , i =1,n – измеренные значения входных и выходных переменных объекта с плотностью p( y,x), f (x) – неизвестная, однозначная функция; ξi – помехи с плотностью p(z). Известно, что наилучшим приближением к модели объекта f (x) является функция регрессии:

P( y / x) = P( y,x) / P(x) – условная плотность распределения вероятности переменных y, x .

Задача идентификации статического стохастического объекта (17) за-

По аналогии с (19) имеет место непараметрическая оценка совместной плотности вероятности P( y,x) случайных величин y, x :

176

Подставляя оценки (19) и (22) в (18) и учитывая свойства ядер (20), получим оценку функции регрессии

Оценка (23) широко используется в задачах идентификации, обработки экспериментальных данных в случаях, когда априорная информация о виде модели объекта отсутствует (модель «черного» ящика). Известны лишь значения его входных и выходной переменной.

Свойства непараметрических оценок регрессии. Непараметрические оценки регрессии вида (23) обладает лишь асимптотическими оптимальными свойствами при бесконечно большом объеме выборки n ( n → ∞). При конечных выборках непараметрические оценки регрессии смещенные [15] .

Существуют различные методы устранения смещения непараметрических оценок регрессии наиболее эффективными из которых являются метод «складного ножа» [12] и метод локальной аппроксимации плотности вероятности [14].

Отметим, что аналогами непараметрических оценок регрессии (22) являются приближения, полученные на основе метода локальной аппроксимации функций [16]

j=1

вокрестности некоторой точки u Rm . Здесь – известные функции. Парамет-

В случае принадлежности распределения помех классу распределений с ограниченной дисперсией F(u) = u2 , оценки (24) при k =1 совпадают с непараметрическими оценками регрессии (23).

Списоклитературы

1.Крамер Г. Математические методы статистики. – М., «Мир», 1975.

2.Huber P.J. Robust estimation of a location parameter. Ann. Math. Stat. 1964. – Vol. 35. – № 1. – C. 73–101.

3.Поляк Б.Т., Цыпкин Я.З. Помехоустойчивая идентификация – В сб.: Идентификация и оценка параметров систем. – Т. 1. – С. 190–213. Препринты IV симпозиума ИФАК, Тбилиси, «Мецниереба», 1976.

177

4.Цыпкин Я.З., Поляк Б.Т. Огрубленный метод максимального правдоподобия. Теория колебаний, прикладная математика. – Горький: Изд. ГГУ, 1977.

5.Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов математической статистики для решения некорректных задач. Успехи физ. наук. – 1970. – Vol. 102. – № 3. – С. 345–386.

6.Жуковский Е.Л. Статистическая регуляризация алгебраических систем уравнений // Журн. вычисл. матем. и матем. физ. – 1972. – 12. – № 1. – 185–191.

7.Ван Трис Г.Л. Теория обнаружения оценок и модуляции. – Т. 1. – М.: Изд. «Сов. радио», 1972.

8.Цыпкин Я.З. Адаптация и обучение в автоматических системах. – М.: «Наука», 1968.

9.Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. – М.: «Наука», 1972.

10.Martin R.D., Masrelie C.J., Robust estimation via stochastic approximation. IEEE Trans. Inf. Th.. – 1975. – Vol. 21. – № 3. – С. 263–271.

11.Tukey J.W. Instead of Guass-Markov ieast sguares – what? In. «Applied statistics», ed. R.P. Gupta, North-Holland publ. co., 1975.

12.Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигна-

лов. – М.: Наука, 1997. – 336 с.

13.Поляк Б.Т., Цыпкин Я.З. Стабильное оценивание в условиях неполной информации. Вопросы кибернетики. Адаптивные системы управления. – М., 1977. – С. 6–14.

14.Сергеев В.Л. Об использовании оценок локальной аппроксимации плотности вероятности // Автоматика и телемеханика. – 1979. – С. 56–61.

15.Шапиро Е.И. Непараметрические оценки плотности вероятности в задачах обработки результатов наблюдений (обзор) // Зарубежная радиоэлек-

троника. – 1976. – № 2. – С. 3–36.

16.Катковник В.Я. Непараметрическая идентификация и сглаживание данных. – М.: Наука, 1985. – 336 с.

178

ПРИЛОЖЕНИЕ4 ПРИМЕРЫТЕКСТОВПРОГРАММВАРИАНТОВЛАБОРАТОРНЫХРАБОТ

1.Текстпрограммыстатистическогомоделированияиопределения параметровинтегрированной системымоделидобычинефти

Sub Example_1_B1()

'Описание переменных динамических массивов данных

'1. Формирование интегрированной системы моделей (ИСМ)

'1.1. Формированиевекторапсевдослучайныхчисел– N(0,1)

Randomize (78) 'Начальные значения датчика равномерных псевдослучайных величин Rnd() Rnd (-506)

For i = 1 To 51 s = 0

For j = 1 To 6 s = s + Rnd()

Next j

ND(i) = (s – 3) * 1.4 Next i

' 1.2. ФормированиевекторафактическихзначенийдобычинефтиY

T = 50 'Число лет разработки месторождения

ALy(1) = 10 'Параметры модели добычи нефти

ALy(2) = 0.2 ALy(3) = 1.5

с1 = 0.01 ' Относительный уровень ошибок измерений добычи нефти

c2 = 0.01 ' Относительный уровень ошибок экспертных оценок извлекаемых запасов нефти

For i = 1 To n

y(i) = ALy(1) * Exp(-ALy(2) * i) * Exp(ALy(3) * Log(i)) y(i) = y(i) + с1 * y(i) * ND(i)

Next i

'1.3. формированиеэкспертныхоценокизвлекаемыхзапасов

S_ = 742 ' – точное значение априорной информации о запасах S_(T,AL(3))

MS_ = 0 ' Начальное среднее значение экспертных оценок извлекаемых запасов

For i = 1 To m1

S1_(i) = S_ + S_ * c2 * ND(i) MS_ = MS_ + S1_(i)

Next i

MS_ = MS_ / m1

180