4.5. Восстановление плотностей распределения классов

Напомним, что при вероятностном подходе предполагается, что в признаковом пространстве заранее задано совместное дискретно-непрерывное распределение , где. Как было показано, качество принятия решения о классе объектаxоценивается средним риском ошибки распознавания, который вычисляется как матожидание потерь от несовпадения предполагаемого и истинного классов объекта. Такая оценка качества приводит к байесовскому решающему правилу

.

Представим совместную плотность распределения ,в виде. Если предположить, что априорные вероятностии условные плотности распределенияизвестны, то оптимальное решающее правило легко найти после их подстановки в выражение. Поэтому наиболее очевидный подход состоит в том, чтобы по обучающей выборке предварительно оценить вероятностии плотности.

Основной недостаток данного подхода состоит в том, что задача восстановления полных вероятностных характеристик данных значительно сложнее исходной задачи поиска решающего правила распознавания, которое лишь отражает основные геометрические особенности концентрации плотностей распределения классов в пространстве признаков. Тем не менее, такой подход часто удобен, когда можно указать достаточно простое параметрическое семейство плотностей распределений , в котором плотности распределений классов определяются значениями параметров,. Априорные вероятности классови параметрыc_kчастных распределений оцениваются по обучающей выборке, например, методом максимального правдоподобия.

Тогда вероятность оценивается как, гдеN_k- число объектов,, у которых. Оценки параметров условных распределений классов находятся из условия максимума частных функций правдоподобия

.

С другой стороны, оценки параметров можно получить рекуррентно, если объектыобучающей выборки поступают только последовательно, а сама выборка неограниченна. Тогда значение параметраc_kдля класса_kможно получить из условия

.

Если параметрическое семейство удовлетворяет условию регулярности, то операции дифференцирования и перехода к математическому ожиданию можно поменять местами. Тогда получим то, что называется уравнением регрессии

.

Поиск корня уравнения регрессии по бесконечной подпоследовательности объектов класса_kв исходной обучающей последовательности,с независимыми элементами обеспечивает процедура стохастической аппроксимации (Роббинса-Монро) вида

.

Как известно, данная процедура сходится с вероятностью 1 (почти наверное) при следующих простых предположениях о параметрическом семействе и коэффициентах^j.

Матрица вторых производных (гессиан) должна быть отрицательно определена в окрестности искомого значенияc_k(или положительно определена, если заменить в процедуре знак приращения на противоположный); коэффициенты стохастической аппроксимацииуменьшаются с ростомjне слишком медленно и не слишком быстро:

, например,.

В свою очередь, априорные вероятности классов рекуррентно оцениваются как рекуррентный пересчет среднего , гденомер очередного объектабесконечной подпоследовательности объектов класса_kв исходной обучающей последовательности,.