4.5. Оценка апостериорных вероятностей

Рассмотренные в предыдущих разделах методы можно исполь­зовать для оценки апостериорных вероятностей на основа­нии п помеченных выборок, пользуясь выборками для оценки соот­ветствующих плотностей распределения. Предположим, что мы

размещаем ячейку объема V вокруг х и захватываем k выборок, из которых оказываются помеченными . Тогда очевидной оценкой совместной вероятности р(х, ) будет

Таким образом, приемлемой оценкой для будет

Иначе говоря, оценка апостериорной вероятности того, что состоя­ние природы есть , является просто долей выборок в ячейке, по­меченных .

Чтобы свести уровень ошибки к минимуму, мы выбираем класс, наиболее часто представляемый в ячейке. Если имеется достаточное количество выборок и если ячейка достаточно мала, то можно по­казать, что результаты будут в этом случае близки к наилучшим.

Если дело доходит до выбора размера ячейки, то можно восполь­зоваться или методом парзеновского окна, или методом ближай­ших соседей. В первом случае будет некоторой определенной функцией от п, а именно = 1/. Во втором случае будет рас­ширяться до тех пор, пока не вместит некоторое определенное чис­ло выборок, а именно k=. В любом случае по мере устремления п к бесконечности в бесконечно малую ячейку будет попадать беско­нечное число выборок. Тот факт, что объем ячейки может стать бе­сконечно малым и все же будет содержать бесконечно большое число выборок, позволяет нам изучать неизвестные вероятности с опреде­ленной точностью и, таким образом, постепенно добиваться опти­мальных результатов. Довольно интересно, как мы увидим далее, что можно получать сравнимые результаты, основывая наше реше­ние только на метке единственного ближайшего соседа величины х.

4.6. Правило ближайшего соседа

4.6.1. Общие замечания

Пусть ={x₁, . . ., х_n} будет множеством n помеченных выбо­рок, и пусть будет выборкой, ближайшей к х. Тогдаправило ближайшего соседа для классификации х заключается в том, что х присваивается метка, ассоциированная с . Правило ближайшего соседа является почти оптимальной процедурой; его применение обычно приводит к уровню ошибки, превышающему минимально возможный байесовский. Как мы увидим, однако, при неограничен­ном количестве выборок уровень ошибки никогда не будет хуже бай­есовского более чем в два раза.

Прежде чем вдаваться в детали, давайте попытаемся эвристи­чески разобраться в том, почему правило ближайшего соседа дает такие хорошие результаты. Для начала отметим, что метка , ассоциированная с ближайшим соседом, является случайной вели­чиной, а вероятность того, что=, есть просто апостериорная вероятность . Когда количество выборок очень велико, следует допустить, что расположено достаточно близко к х, чтобы . В этом случае можем рассматривать пра­вило ближайшего соседа как рандомизированное решающее правило, которое классифицирует х путем выбора класса с вероятностью . Поскольку это точная вероятность того, что природа на­ходится в состоянии , значит, правило ближайшего соседа эффек­тивно согласует вероятности с реальностью. Если мы определяем (х) как

(23)

то байесовское решающее правило всегда выбирает . Когда ве­роятность близка к единице, выбор с помощью правила ближайшего соседа почти всегда будет таким же, как и байесовский, это значит, что когда минимальная вероятность ошибки мала, то вероятность ошибки правила ближайшего соседа также мала. Когда близка к 1/с, так что все классы одинаково правдоподобны, то выборы, сделанные с помощью этих двух правил, редко бывают одинаковыми, но вероятность ошибки в обоих случаях составляет приблизительно 1-1/с. Не исключая необходимости в более тща­тельном анализе, эти замечания позволяют меньше удивляться хо­рошим результатам правила ближайшего соседа.

Наш анализ поведения правила ближайшего соседа будет направ­лен на получение условной средней вероятности ошибки Р (е|х) при большом количестве выборок, где усреднение производится по выборкам. Безусловная средняя вероятность ошибки будет найдена путем усреднения Р(е|х) по всем х:

(24)

Заметим, что решающее правило Байеса минимизирует Р(e) путем минимизации Р (е|x) для каждого х.

Если Р*(е|x) является минимально возможным значением Р(e|x), а Р* — минимально возможным значением Р(е), то

(25)

и

(26)