4.3.2. Сходимость среднего значения

Сначала рассмотрим — среднее значение р_n(х). Поскольку выборки х_i распределены равномерно в соответствии с (неизвест­ной) плотностью распределения р(х), имеем

(20)

Это уравнение показывает, что ожидаемое значение оценки есть усредненное значение неизвестной плотности распределения, свертка неизвестной плотности распределения и функции окна. Таким образом, является сглаженным вариантом дляр(х), видимым через усредняющее окно. Но с устремлением V_n к нулю (х— v)стремится к дельта-функции с центром в х. Так что если р непрерывна в х, то уравнение (18) гарантирует, что будет при­ближаться кр(х) по мере устремления п к бесконечности ³.

4.3.3. Сходимость дисперсии

Уравнение (20) показывает, что для того, чтобы заставить устремиться кр(х), не нужно иметь бесконечное число выборок; при любом п достаточно только устремить V_n к нулю. Конечно, для конкретного множества п выборок получающаяся оценка, имеющая всплески, будет бесполезной. Этот факт подчеркивает необходимость рассмотрения дисперсии оценки. Поскольку р_n (х) является суммой функций статистически независимых случайных величин, ее диспер­сия является суммой дисперсий отдельных членов, и отсюда имеем

(21)

Опуская второй член, ограничивающий , и используя (20), полу­чаем

(22)

Ясно, что для получения небольшой дисперсии нам нужно боль­шое, а не малое значение V_n. Однако, поскольку числитель остается конечным при стремлении n к бесконечности, мы можем позволить V_n стремиться к нулю и все же получать нулевую дисперсию при условии, что nV_n стремится к бесконечности. Например, мы можем взять V_n,=V₁/ или V₁/log п, или любую другую функцию, удов­летворяющую соотношениям (18) и (19).

Это основной теоретический вывод. Но, к сожалению, он ничего не говорит о том, как выбирать и V_n, чтобы получить хорошие результаты в случае с конечным числом выборок. Действительно, если у нас не будет другой информации о р(х), помимо той, что она непрерывна, у нас не будет никакого основания для оптимизации результатов при конечном числе выборок.

4.3.4. Два примера

Интересно проследить, как метод парзеновского окна проявля­ется на простых примерах. Рассмотрим сначала случай, где р(х) является одномерной нормальной плотностью распределения с ну­левым средним значением и дисперсией, равной единице. Пусть функция окна будет иметь тот же вид:

И, наконец, пусть h_n=h₁, где h₁—параметр, находящийся в нашем распоряжении. Таким образом, р_n(х) есть среднее нормаль­ных плотностей распределения, центрированных в выборках:

Нетрудно из соотношений (20) и (21) найти выражения среднего значения и дисперсии для р_n(х), но еще интереснее увидеть чис­ленные результаты. На рис. 4.1 показаны результаты, полученные при вычислении р_n(х) с помощью конкретно выбранного множест­ва нормально распределенных случайных выборок. Эти результаты зависят от п и h₁. Для n= 1 функция р_n(х) будет просто единственным холмом гауссовского распределения с центром в первой выборке. Для n=16 и h₁=1/4 влияние отдельных выборок ясно различимо, а для h₁=1 и h₁=4—нет. По мере увеличения п способность р_n от­ражать особенности р возрастает. При этом р_n оказывается более чувствительной к локальным нерегулярностям выборок, когда n ве­лико, хотя мы уверены, что р_n будет сходиться к сглаженной нор­мальной кривой по мере устремления п к бесконечности. Ясно, что нельзя судить по одному внешнему виду и что для получения точной оценки требуется много выборок.

В качестве другого примера пусть (и) и h_n будут такими же, а неизвестная плотность распределения пусть будет смесью двух од­нородных плотностей

На рис. 4.2 показано поведение оценок этой плотности, полу­ченных методом парзеновского окна.

Рис. 4.1. Оценка нормальной плотности распределения методом парзеновского окна

Рис. 4.2. Оценка бимодальной плотности распределения методом парзеновского окна

Как и прежде, случай с n=1 говорит больше о функции окна, чем о неизвестной плотности распределения. Для n=16 ни одна из оце­нок не годится, а вот для n=256 и h₁=1 результаты уже кажутся приемлемыми.

Эти примеры показывают некоторые достоинства и некоторую ог­раниченность непараметрических методов. Достоинства заключаются в их общности. Одна и та же процедура использовалась для унимо­дального нормального и бимодального смешанного случаев. При достаточном количестве выборок мы уверены в сходимости к сколь угодно сложной неизвестной плотности распределения. С другой стороны, может потребоваться очень большое количество выборок, намного превышающее то количество, которое нам потребовалось бы, если бы мы знали вид неизвестной плотности распределения. Нет почти никаких способов уменьшения объема данных, поэтому потребности во времени вычисления и памяти слишком велики. Более того, потребность большего количества выборок растет экспо­ненциально с увеличением размерности пространства признаков. Этот недостаток непараметрических процедур, связанный с явле­нием, которое Беллман назвал «проклятием размерности», намного ограничивает их практическую применимость.