Сходимость при использовании метода ближайшего соседа

Теперь мы хотим оценить среднюю вероятность ошибки для правила ближайшего соседа. В частности, если Р_n(е)есть уровень ошибки спвыборками и если

(27)

то мы хотим показать, что

Р*РР*.(28)

Начнем с замечания, что при использовании правила ближайшего соседа с конкретным множеством пвыборок результирующий уро­вень ошибки будет зависеть от случайных характеристик выборок. В частности, если для классификации х используются различные множествапвыборок, то для ближайшего соседа вектора х будут получены различные векторы. Так как решающее правило зависит от ближайшего соседа, мы имеем условную вероятность ошибки,которая зависит как от х,так и от.Усредняя по, получаем

(29)

Обычно очень трудно получить точное выражение для условной плотности распределения p(|х). Однако, поскольку, по опре­делению является ближайшим соседом х, мы ожидаем, что эта плот­ность будет очень большой в непосредственной близости от х и очень малой во всех других случаях. Более того, мы ожидаем, что по мере устремленияпк бесконечностир(|х)будет стремиться к дельта-функции с центром в х, что делает оценку, задаваемую (29), тривиальной. Для того чтобы показать, что это действительно так, мы должны допустить, что плотностьрдля заданного х непрерывна и не равна нулю. При таких условиях вероятность попадания любой выборки в гиперсферуSс центром в х есть некое положительное число

Таким образом, вероятность попадания всех nнезависимо взя­тых выборок за пределы этой гиперсферы будет (1—P_S)ⁿ,стремя­щейся к нулю по мере устремленияпк бесконечности. Итак,сходится к х по вероятности ир(| х) приближается к дельта-функ­ции, как и ожидалось. Вообще говоря, применяя методы теории меры, можно получить более убедительные (и более строгие) доказа­тельства сходимостик х,но для наших целей достаточно получен­ного результата.

4.6.3.Уровень ошибки для правила ближайшего соседа

Обратимся теперь к вычислению условной вероятности ошибки Р_n(е|х,). Чтобы избежать недоразумений, необходимо поставить задачу более тщательно, чем это делалось до сих пор. Когда мы гово­рим, что у нас имеетсяпнезависимо сделанных помеченных выбо­рок, то мы имеем в видуnпар случайных переменных (x₁,), (x₂,), . . .,(х_n,), где может быть любым изссостояний природы , . . ., . Мы полагаем, что эти пары получались путем выбора состояния природы для с вероятностьюP(), азатем путем выборах_iв соответствии с вероятностным закономp(х|), причем каждая пара выбирается независимо. Положим теперь, что природа выбирает пару (х,)и что, помеченноеесть ближайшая к х выборка. Поскольку состояние природы при выборене зависит от состояния при выборе х,то

(30)

Теперь, если применяется решающее правило ближайшего со­седа, мы совершаем ошибку всякий раз, когда =.Таким образом, условная вероятность ошибкиР_n(е|х,) задается в виде

(31)

Чтобы получить Р_n(е),надо подставить это выражение в (29) вместоР_n(e|х), а затем усреднить результат по х. Вообще это очень трудно сделать, но, как мы уже замечали ранее, интегрирование в(29)становится тривиальным по мере устремленияnк бесконечности, ар(, х) к дельта-функции. ЕслиР(, х) непрерывна в х,получаем

(32)

Так что асимптотический уровень ошибки правила ближайшего соседа, если можно поменять местами интегрирование и переход

к пределу ¹¹,задается выражением

(33)

4.6.4.Границы ошибки

Хотя уравнение (33)дает точный результат, еще показательнее получить границы дляР,выраженные посредством байесовского уровняР*.Очевидной нижней границей дляРявляется сам уро­веньР*.Кроме того, можно показать, что при любомР*существует множество условных и априорных вероятностей, для которых эта граница достигается. Так что в этом смысле это точная нижняя гра­ница.

Еще интереснее задача определения точной верхней границы. Следующее соображение позволяет надеяться на низкую верхнюю границу: если байесовский уровень небольшой, то Р(|х) близка к единице для некоторогоi, скажемi=m.Таким образом, подынте­гральное выражение в (33)будет приближенно 1—Р²(|х)2(1—Р(|х)), и поскольку

Р*(е|х)=1-Р(|х), (34)

то интегрирование по х может дать уровень, в два раза превышающий байесовский, но являющийся все еще низким. Чтобы получить точ­ную верхнюю границу, мы должны определить, насколько большим может стать уровень Рошибки правила ближайшего соседа для за­данного байесовского уровняР*.Таким образом, выражение (33) вынуждает нас задаться вопросом, насколько малой может стать для заданнойр(|х). Записав

,

мы можем получить границу этой суммы, минимизируя второй член при следующих ограничениях:

1) Р(|х)0;

2)

Несколько поразмыслив, мы видим, что минимизируется, если все апостериорные вероятности, кромет-й,равны, и второе ограничение дает

(35)

Таким образом,

(1-P*(e|x))²+

и

1- 2P*(e|x)-P*²(e|x). (36)

Сразу же видим, что Р2Р*,поэтому можем подставить этот резуль­тат в (33)и просто опустить второй член выражения. Однако более точную границу можно получить на основании

так что

причем равенство сохраняется тогда и только тогда, когда диспер­сия Р*(е|х)равна нулю. Пользуясь этим результатом и подставляя соотношение (36)в (33),получаем желаемые границы

Р*РР*.(28)

Легко показать, что такая верхняя граница достигается в слу­чае так называемой нулевой информации, в котором плотности рас­пределения p(х|) тождественны, так чтоР(|х)=р() иР*(е|х) не зависит от х. Таким образом, границы, заданные (28),являются максимально близкими в том смысле, что для любойР*существуют условные и априорные вероятности, для которых эти границы до­стигаются. На рис. 4.4графически представлены эти границы. Байесовский уровеньР*может находиться в любом месте между О и(с—1)/с.Границы сходятся в этих двух крайних точках. Когда байесовский уровень мал, верхняя граница превышает его почти в два раза. В общем значение ошибки правила ближайшего соседа должно находиться в заштрихованной области.

Поскольку Рвсегда меньше или равна2Р*,то, если имеется бе­сконечный набор данных и используется сложное решающее пра­вило, можно по крайней мере в два раза сократить уровень ошибки. В этом смысле по крайней мере половина классифицирующей ин­формации бесконечного набора дан­ных находится по соседству.

Естественно задаться вопросом, насколько хорошо правило бли­жайшего соседа в случае конечного числа выборок и как быстро ре­зультат сходится к асимптотичес­кому значению. К сожалению, от­веты для общего случая неблаго­приятны. Можно показать, что сходимость может быть бесконечно медленной и уровень ошибки Р_n(е) даже не должен монотонно убывать с ростомп.Так же, как это про­исходит с другими непараметрическими методами, трудно получить какие-либо еще результаты, кроме асимптотических, не делая даль­нейших допущений о вероятностных свойствах.

Рис. 4.4.Границы ошибки правила ближайшего соседа