4. Ядерная оценка плотности

Гистограммные оценки плотности распределения, рассмотренные в предыдущих параграфах, обладают существенным недостатком, а именно, плотность или функция распределения, полученные данным методом, являются ступенчатыми функциями. Реальные функции рас­пределения являются непрерывными функциями. Следовательно, гис­тограммные оценки хорошо аппроксимируют функции распределения только в случае больших объемов наблюдений, когда п —> <*>. в ситуа­ции, когда наблюдения производят за функциональными характеристи­ками сложных систем, хотелось бы иметь более гладкие оценки плот­ности или функции распределения. Шагом в получении такой оценки явилась модель построения так называемой ядерной оценки плотнос­ти.

Ядерные оценки впервые были введены в работах Парзена [44] и Розенблатта [45]. Рассмотрим методику построения ядерных оценок для плотности распределения непрерывной случайной величины. Пусть в результате наблюдения за объектом исследования получена выборка T, T₂,..., T_n. На основании данных результатов построим гистограмм- ную оценку функции распределения. Гистограммную оценку функции распределения будем строить несколько отличающимся способом по сравнению с тем, как это было сделано в п. 9.2. Будем полагать, что изменение функции распределения происходит в каждой точке наблю­дения, причем величина такого изменения равна 1/п. Построенная та­ким образом функция распределения изображена на рис. 9.3. Ее можно записать в виде

F_n(t) = Р(Т, < 0 = -XfCT_l <t) = -Jff(T_l), (9.9)

Tl /_і п ,=I

где І(Т< і) - индикаторная функция,равная 1, когда условие в скобках выполняется, и 0 в противном случае; H(T) - функция Хевисайта, рав­ная 1 при / > T_p и 0 при t < T₁.

т-

(9.12)

т

і

л-1 In п-2/п

t-T,

Hn

h< I.

М/л

3/л

2/л

• при -I <t <1;

2

0 при t < —I, t > 1.

Вид функции представлен на рис. 9.4. Если в качестве ядра взять дан­ную функцию и сузить интервал определения, т.е. определить ее на ин­тервале [-h, h],h< 1, то получим оценку плотности в виде

(9.13)

Плотность распределения, построенная на основании формулы (9.13), будет представлять собой непрерывную функцию. В последующих за исследованиями Парзена и Розенблатта работах было предложено множество других функций, используемых в качестве ядра. Отметим некоторые из них. Так называемая треугольная (рис. 9.5) функция име­ет вид

0 при t < -1,

I+t при -1<г<0,

Tr = • 1 при t = 0,

1-г при 0<г<1,

0. при t> 1.

Т, ... T₁

(9.11)

Широкое применение при построении ядерных оценок плотности рас­пределения находит функция Гаусса

1

ехр

>/2я

1

t-T

І, ехр

nh\[2u і=і

j 5(f)* = 1, °\b(t-u)f(u)du = f(t).

Функция, определяемая выражением (9.10), называется ядерной оценкой плотности, а функция, стоящая под знаком суммы, называется ядром. Графическое изображение такой плотности распределения бу­дет представлять собой набор вертикальных прямых, берущих начало в точках Т. и уходящих в бесконечность. Наглядность такого представ­ления пока не очень высока и не отличается в лучшую сторону по срав­нению с гистограммным представлением. Заменим в выражении (9.10) функцию Дирака некоторой конечной функцией, удовлетворяющей свой­ствам (9.11). Парзен и Розенблатт впервые предложили в качестве ядра вместо функции Дирака использовать функцию K(t), определенную сле­дующим образом:

292

Изображение функции приведено на рис. 9.6.

Ядерная оценка плотности распределения будет получаться путем подстановки в выражение (9.13) соответствующего ядра, например, G(t) вместо ядра K(t). Так, для гауссовского ядра получим выражение плот­ности распределения в виде

Качество восстановленной с помощью ядерного оценивания плот­ности зависит от выбора величины параметра h. Параметр локальнос-

IzZLt

yfih J

G(t) =

^-JC²

ти А выступает в качестве основного управляющего параметра. Его значение оказывает существенное влияние на вид оценок плотностей распределения и их точность.

Можно показать, что дисперсия оценки Df_n ~ —. Следовательно,

nh

А нельзя брать бесконечно малым, так как при этом дисперсия оценки плотности распределения будет стремиться к бесконечности. С другой стороны, нельзя брать параметр А слишком большим, поскольку при

этом увеличивается системати­ческая ошибка: A

Таким образом, возникает оптимизационная задача выбора параметра сглаживания. Приве­дем метод определения опти­мального значения параметра А, основанный на вычислении фун­кции правдоподобия. Суть мето­да состоит в следующем. Пусть имеется выборка T_v T₂, ..., T_n. На первом шаге выбираем про­извольное значение параметра A₁. Далее исключаем из выборки значение T₁ и на основании остав­шихся значений Т., ..., T

2’ 3 ’л

строим плотность /„.,(A,,t). За- 294

тем определяем значение плотности в точке T_v В результате получа­ем (^,T₁). На следующем шаге исключаем значение T₂. На осно­вании оставшихся значений T_v T_v ..., T_n строим плотность /_л²_,(Ii_lJ). Далее вычисляем значение ядерной оценки плотности в точке T₂. По­лучаем /_п²_! (A₁, T₂). Повторяем данную процедуру по всем T_i до T_n. По­лучаем массив {/„‘-,(Л,,^)}, | = 1, п. На основании вычисленных значе­ний оценок плотностей в точках строим функцию правдоподобия

UKJ_i) = YlfU(KJi).

J=1

На втором этапе устанавливаем значение константы А, равное A₂, и повторяем описанную процедуру заново. Вычисляем функцию правдо­подобия

ДА₂,T₁) = YlfL(KJ) и т.д.

J=I

Оптимальное значение А выбираем как результат решения выраже­ния

/J_om. =argma\L(h_jfT). ^hi

Данная процедура сложна в реализации, но обеспечивает вычисле­ние оптимального значения параметра А.

В работе [46] приводятся результаты исследования сходимости ядерных оценок. В частности отмечено, что оптимальная скорость схо­димости ядерной оценки плотности обеспечивает выбор параметра А на уровне

h_n=(aWn)^us, (9.14)

где а = J AT² (t)dt, р = (JV ЛГ (t)dt )² J/"(O² <*• При этом также предполага­ется, что A_n-> 0, nh_n —> оо, при п —> оо и/(0 - ограниченная плотность, имеющая две непрерывные производные, и j(f"(t))²dt < . Данный ре­зультат также можно использовать для определения оптимального зна­чения параметра А. В приведенной формуле (9.14) неизвестным пока­зателем является плотность/(0, используемая для определения коэф­фициента р. Заменим данную плотность ее ядерной оценкой. Посколь­ку ядерная оценка зависит от параметра А, то для поиска оптимального значения параметра необходимо организовать итеративную процедуру проведения расчетов. На первом этапе выбираем произвольное значе-

ниє параметра Zi_lC I. Для данного значения строим ядерную оценку плот- ности/„(/»,, t) и на ее основании рассчитываем значения коэффициентов a,, P₁. Далее подставляем полученные значения коэффициентов в фор­мулу (9.14), вычисляем новое значение параметра h_r На основании данного значения параметра строим новую ядерную оценку f_n(h_v t). Полученное значение плотности используем вновь для расчета коэф­фициентов а, р. Повторяем данную процедуру до тех пор, пока не бу­дет выполняться условие сходимости результата вычисления оптими­зируемого параметра h, а именно, \h_m - h_m J < є, где є - малое число, определяющее заданную точность проведения расчетов.

5. Проекционное оценивание плотности распределения

Следующим шагом в развитии непараметрических методов оцени­вания плотности распределения непрерывной случайной величины яви­лись проекционные методы. Впервые метод оценивания плотности рас­пределения, получивший название проекционный, был предложен в ра­боте Н.Н. Ченцова [47]. Для построения оценки плотности распределе­ния были использованы результаты теории ортогональных функций. Для получения проекционной оценки Ченцов использовал разложение функ­ции в ряд Фурье. Итак, пусть f(t) - функция, имеющая область опреде­ления [0,1]. Следовательно, ее можно разложить в ряд Фурье:

до=Х^с/Р; (')>

м

где {<р.(/)} ^_ ортонормированная тригонометрическая система на [0,1].

ф₂, (0 = л/2 cos 2nlt;

Фгі+і (0 ⁼ V2sin 2nlt;

ф,(0 =1,/ > 1.

Оценка функции/(t) тогда будет определяться по формуле

Лл(0 = Іс>,( о, (9.15)

т.е. в разложении в ряд Фурье берется конечное число членов сумми­рования. Оценки коэффициентов в разложении определяются по формуле

Оценка (9.15) называется проекционной оценкой Ченцова. Условие t є [0,1] не ограничивает общности. Функция f(t) может быть опреде­лена на любой ограниченной области D е R¹. Отнормировав данную область, можно обеспечить условие t є [0,1]. После построения плот­ности распределения на интервале [0,1] необходимо выполнить обрат­ный переход в область определения функции D.

В выражении (9.15) неопределенной осталась величина AT, которая представляет собой число слагаемых в разложении функции в ряд Фу­рье. Данный параметр называется параметром сглаживания. В [46] отмечается, что тригонометрическая система недостаточно богата для оценивания любых плотностей. Однако этот недостаток уравновеши­вается рядом преимуществ проекционных оценок, в частности их пре­восходным поведением в случае, когда разложение плотности распре­деления в ряд содержит конечное число членов или является бесконеч­ным с быстро убывающими коэффициентами. Известна оценка для оп­ределения оптимального числа гармоник N_n состоящая в следующем:

N° = argmin_Nc[U] A_njv, (9.16)

^rAeA_llN =P(N) + •%-, P(N)=Jc²_y

Zn jsfi

В работе [48] показано, что для выбора порядка числа гармоник (9.16) можно пользоваться оценкой

N_a = argmin_1<N<1I T_Nj

2N

где X_n = X с).

j*N+l

В литературе (например [48]) приводится значительное количество ортонормальных систем, которые можно использовать для построения проекционных оценок плотности распределения. Помимо тригономет­рической системы это полиномы Лежандра, которые образуют ортонор- мальную систему на [-1, 1], оценки с рядом Эрмита. Функции с рядом Эрмита образуют ортонормальную систему, определенную на [-о°, «>]. Оценка с рядом Лагерра образует также ортонормальную систему, определенную на [0, °°]. Ортонормальная система Xaapa отличается от всех предыдущих тем, что она является базисом в области определе­ния [0, 1]. Формулы разложения для данных систем, а также свойства проекционных оценок с этими разложениями приведены, например, в [48].

Рассмотренные в последних трех главах методы обработки стати­стической информации используются для определения параметров эле­ментов, составных частей и подсистем сложных систем на этапе пост­роения моделей систем. Рассмотренные методы обработки информа­ции претендуют на полноту охвата моделей, используемых при реше­нии задачи статистического оценивания. Так, рассмотрены параметри­ческие методы, которые представлены моделями максимального прав­доподобия и байесовскими процедурами, а также непараметрические методы, включающие в себя гистограммные, ядерные и проекционные оценки. Представленный материал преследует цель получения оценок статистических показателей сложной системы с высокой степенью точности и соответственно высокой достоверностью. Высокая степень достоверности оценок достигается за счет использования цензуриро­ванных данных, а также за счет использования априорной информации.

Таким образом, в представленном материале рассмотрен комплекс вопросов, касающихся методологии системного анализа, процедуры проведения системных исследований, построения моделей систем. Вопросы построения моделей систем охватывают широкий комплекс проблем, начиная от классификации моделей, подходов к построению имитационных моделей, и заканчивая методами проверки адекватнос­ти моделей и оценки параметров систем.