5.11. Метод потенциальных функций

Рассмотрение способов определения линейных разделяющих функций будет неполным, если мы не упомянем о методе потенциальных функций. Данный подход тесно связан с некоторыми уже рассмотренными нами методами, такими, как оценки парзеновского окна, метод персептрона и метод стохастической аппроксимации. Толчком к созданию метода потенциальных функций послужило следующее обстоятельство; если выборки х_i представлять себе как точки некоторого пространства и в эти точки поместить заряды соответственно +q_i если х_i помечено символом ω₁, и -q_i, если х_i

Рис. 5.12.Поле распределения потенциала как разделяющая функция. О —выборки класса 1, X —выборки класса 2.

помечено символом ω₁, то, возможно, функцию, описывающую распределение электростатического потенциала в таком поле, можно будет использовать в качестве разделяющей функции (рис. 5.12). Если потенциал точки х, создаваемый единичным зарядом, находящимся в точке х_i равен K(х, х_i), то потенциал, создаваемый n зарядами в точке х, определяется выражением

Потенциальная функция К (х, х_i), используемая в классической физике, обратно пропорциональна величине ||х—х_i||. Имеется и много других функций, которые с таким же успехом могут быть использованы для наших целей. Существует очевидная аналогия между функцией К (х, х_i) и функцией парзеновского окна φ [(х, х_i)/h]; по своему виду разделяющая функция g(x) очень похожа на разность оценок парзеновского окна для случая двухплотностей. Но поскольку нашей задачей является лишь построение нужной разделяющей функции, в этом смысле значительно меньше ограничений существует при выборе потенциальной функции, чем при выборе функции окна. Наиболее часто используется такая потенциальная функция, которая имеет максимум при х=х_i и монотонно убывает до нуля при ||х-х_i||→∞. Однако в случае необходимости и эти ограничения можно снять.

Пусть имеется множество из п выборок, а разделяющая функция сформирована в соответствии с выражением (85). Предположим далее, что при проверке обнаружено, что некоторая выборка, скажем x_k посредством функции g(х) классифицируется с ошибкой. Попробуем исправить ошибку, изменив немного величину q_k ⁵. Предположим, что значение q_k увеличивается на величину единичного заряда, если х_k помечено символом ω₁, и уменьшается на такую же величину, если х_k помечено символом ω₂. Если обозначить значение разделяющей функции после коррекции через g'(х), то алгоритм формирования данной функции может быть записан в следующем виде:

Данное правило коррекции ошибок имеет много общего с правилом постоянных приращений. Природа этой связи станет вполне понятна, если представитьK(х, х_i) в виде симметричного конечно­го разложения

где у=у(х) и y_k = y(х_k). Подставив данное выражение в (85), получим

Более того, алгоритм для вычисления g' (х) на основе использования g (х) представляет лишь ненормированное правило постоянных приращений:

если y_kпомечено символом₁иa^ty_k≤0

если y_kпомечено символом₂иa^ty_k≥0

в остальных случаях

Таким образом, если K(x,x_k) может быть представлено в виде выражения (87), сходимость доказывается точно так же, как и для правила постоянных приращений. Более того, является очевидным, что при использовании других процедур, таких, как метод релаксаций, метод наименьшей квадратичной ошибки и метод стохастической аппроксимации, можно сразу же получить «параллельные» им процедуры, основанные на применении потенциальных функций; при этом доказательства сходимости таких «параллельных» проце­дур совершенно аналогичны.

Метод потенциальных функций, конечно, не ограничивается использованием только таких функций, которые имеют вид конеч­ной суммы. Любая подходящая для наших целей функция, такая, например, как

или

может быть выбрана в качестве потенциальной⁶; разделяющая функция получится, если рассматривать выборки последовательно: х¹, х², ... , x^k, ... и использовать какую-либо итеративную про­цедуру, например

гдеr_k— некоторая функция ошибки.

При практическом применении метода потенциальных функций встречаются те же трудности, что и при использовании оценок парзеновского окна. Необходимо очень внимательно отнестись к выбору потенциальной функции, чтобы получить хорошую интерполяцию между точками выборки. При большом числе выборок появляются значительные трудности, связанные с процессом вычисле­ния. Вообще использование метода потенциальных функций наиболее оправдано в случае, когда либо число выборок невелико, либо размерность х достаточно мала, чтобы функцию g(х) можно было представить в виде таблицы дискретных значений х.