Сходимость среднего значения

Сначала рассмотрим — среднее значениер_n(х).Поскольку выборких_iраспределены равномерно в соответствии с (неизвест­ной) плотностью распределенияр(х), имеем

(20)

Это уравнение показывает, что ожидаемое значение оценки есть усредненное значение неизвестной плотности распределения, свертканеизвестной плотности распределения и функции окна. Таким образом,является сглаженным вариантом дляр(х), видимым через усредняющее окно. Но с устремлениемV_nк нулю(х— v)стремится к дельта-функции с центром в х. Так что еслир непрерывна в х,то уравнение (18)гарантирует, что будет при­ближаться кр(х) по мере устремленияп кбесконечности¹⁰.

Сходимость дисперсии

Уравнение (20)показывает, что для того, чтобы заставитьустремиться кр(х),не нужно иметь бесконечное число выборок; при любомпдостаточно только устремитьV_n к нулю. Конечно, для конкретного множествапвыборок получающаяся оценка, имеющая всплески, будет бесполезной. Этот факт подчеркивает необходимость рассмотрения дисперсии оценки. Посколькур_n(х) является суммой функций статистически независимых случайных величин, ее диспер­сия является суммой дисперсий отдельных членов, и отсюда имеем

(21)

Опуская второй член, ограничивающий , и используя (20),полу­чаем

(22)

Ясно, что для получения небольшой дисперсии нам нужно боль­шое, а не малое значение V_n. Однако, поскольку числитель остается конечным при стремленииnк бесконечности, мы можем позволитьV_nстремиться к нулю и все же получать нулевую дисперсию при условии, чтоnV_nстремится к бесконечности. Например, мы можем взятьV_n,=V₁/илиV₁/log п,или любую другую функцию, удов­летворяющую соотношениям (18)и (19).

Это основной теоретический вывод. Но, к сожалению, он ничего не говорит о том, как выбирать иV_n,чтобы получить хорошие результаты в случае с конечным числом выборок. Действительно, если у нас не будет другой информации о р(х), помимо той, что она непрерывна, у нас не будет никакого основания для оптимизации результатов при конечном числе выборок.

4.3.4.Два примера

Интересно проследить, как метод парзеновского окна проявля­ется на простых примерах. Рассмотрим сначала случай, где р(х) является одномерной нормальной плотностью распределения с ну­левым средним значением и дисперсией, равной единице. Пусть функция окна будет иметь тот же вид:

И, наконец, пусть h_n=h₁,где h₁—параметр, находящийся в нашем распоряжении. Таким образом,р_n(х)есть среднее нормаль­ных плотностей распределения, центрированных в выборках:

Нетрудно из соотношений (20)и (21)найти выражения среднего значения и дисперсии дляр_n(х),но еще интереснее увидеть чис­ленные результаты. На рис. 4.1показаны результаты, полученные при вычислениир_n(х) спомощью конкретно выбранного множест­ва нормально распределенных случайных выборок. Эти результаты зависят отпиh₁.Для n= 1функцияр_n(х)будет просто единственным холмом гауссовского распределения с центром в первой выборке. Для n=16иh₁=1/4влияние отдельных выборок ясно различимо, а дляh₁=1иh₁=4—нет. По мере увеличенияпспособностьр_nот­ражать особенностирвозрастает. При этомр_nоказывается более чувствительной к локальным нерегулярностям выборок, когдаnве­лико, хотя мы уверены, чтор_nбудет сходиться к сглаженной нор­мальной кривой по мере устремленияпк бесконечности. Ясно, что нельзя судить по одному внешнему виду и что для получения точной оценки требуется много выборок.

В качестве другого примера пусть (и)иh_nбудут такими же, а неизвестная плотность распределения пусть будет смесью двух од­нородных плотностей

На рис. 4.2показано поведение оценок этой плотности, полу­ченных методом парзеновского окна.

Рис. 4.1.Оценка нормальной плотности распределения методом парзеновского окна

Рис. 4.2.Оценка бимодальной плотности распределения методом парзеновского окна

Как и прежде, случай с n=1говорит больше о функции окна, чем о неизвестной плотности распределения. Дляn=16 ни одна из оце­нок не годится, а вот дляn=256 иh₁=1результаты уже кажутся приемлемыми.

Эти примеры показывают некоторые достоинства и некоторую ог­раниченность непараметрических методов. Достоинства заключаются в их общности. Одна и та же процедура использовалась для унимо­дального нормального и бимодального смешанного случаев. При достаточном количестве выборок мы уверены в сходимости к сколь угодно сложной неизвестной плотности распределения. С другой стороны, может потребоваться очень большое количество выборок, намного превышающее то количество, которое нам потребовалось бы, если бы мы знали вид неизвестной плотности распределения. Нет почти никаких способов уменьшения объема данных, поэтому потребности во времени вычисления и памяти слишком велики. Более того, потребность большего количества выборок растет экспо­ненциально с увеличением размерности пространства признаков. Этот недостаток непараметрических процедур, связанный с явле­нием, которое Беллман назвал «проклятием размерности», намного ограничивает их практическую применимость.