Глава 6. Распознавание образов на основании метода потенциальных функций

При построении систем классификации образов основной задачей является определение решающих функций. Они задают в пространстве образов границы, разделяющие образы, принадлежащие различным классам. Рассмотрим подход к определению решающих функций и разделяющих границ, основанный на использовании понятия потенциальной функции [6].

Допустим, что необходимо разделить два класса ω₁ и ω₂. Выборочные образы, принадлежащие обоим классам, представлены векторами или точками в n-мерном пространстве образов. Если ввести аналогию между точками, представляющими выборочные образы, и некоторым источником энергии, то в любой из этих точек потенциал достигает максимального значения и быстро уменьшается при переходе во всякую точку, отстоящую от точки, представляющей выборочный образ х_к. На основе этой аналогии можно допустить существование эквипотенциальных контуров, которые описываются потенциальной функцией К(х, x_k) Можно считать, что кластер, образованный выборочными образами, принадлежащими классу ω₁, образует «плато», причем выборочные образы размещаются на вершинах некоторой группы холмов. Подобную геометрическую интерпретацию можно ввести и для образов класса ω₂. Эти два «плато» разделены «долиной», в которой, как считается, потенциал падает до нуля. На основе таких интуитивных доводов создан метод потенциальных функций, позволяющий при проведении классификации определять решающие функции.

6.1. Получение решающих функций

Решающие функции для классификации образов можно получить из потенциальных функций для векторов, представляющих выборочные образы х_к, k=1, 2, 3,…, в пространстве образов. Потенциальную функцию для любой точки х_к, соответствующей выборочному образу, можно представить выражением

(6.1)

где функции , i= 1, 2,…, полагаются для удобства ортонормированными, а действительные числа λ_i i=1, 2,…, отличные от нуля, выбраны таким образом, чтобы потенциальная функция К(х,х_к) для образов х_кω₁ω₂ была ограничена.

Решающую функцию d(x) можно построить, исходя из последовательности потенциальных функций К(х,х₁), К(х,х₂),…, соответствующей последовательности образов обучающей выборки х₁, х₂,…, предъявляемых системе в процессе обучения. Решающую функцию d(x), связанную с потенциальными функциями К(х,х_к) множеством ортогональных функций , можно представить в виде ряда

(6.2)

Коэффициенты с_i, i=1, 2, …, входящие в (6.2), неизвестны и могут быть определены по обучающей выборке образов с помощью итеративной процедуры. Решающая функция d(x) является относительно гладкой функцией, и в малой области число её экстремумов невелико; значения d(x) в близко расположенных точках мало отличаются. Ниже будет показано, что решающая функция, определяемая формулой (6.2), связана с потенциальной функцией (6.1) рекуррентным соотношением

(6.3)

где k – номер шага итерации, а r_k+1 – коэффициент, смысл которого будет ясен ниже. Решающую функцию d(x) можно непосредственно получить из потенциальной функции. Следовательно, дальнейшее обсуждение будет посвящено определению потенциальных функций.

На этапе обучения выборочные образы предъявляются системе, которая последовательно вычисляет значения соответствующих потенциальных функций. Кумулятивный потенциал на k-ом шаге итерации определяется совокупностью значений отдельных потенциальных функций. Этот кумулятивный потенциал, который мы будем обозначать через K_k(x), определен таким образом, чтобы при неправильной классификации образа х_к+1 из обучающей выборки производилась коррекция значения кумулятивного потенциала. Если же этот образ классифицируется правильно, то на данном шаге итерации значение кумулятивного потенциала не изменяется. Кумулятивный потенциал вводится следующим образом.

В начале этапа обучения исходное значение кумулятивного потенциала К₀(х) полагается для удобства записи равным нулю. При предъявлении первого образа х₁ из обучающей выборки значение кумулятивного потенциала корректируется согласно следующему соотношению:

Поскольку, однако, К₀(х)=0, результат первого вычисления кумулятивного потенциала можно представить как

В этом случае кумулятивный потенциал просто равен значению потенциальной функции для выборочного значения х₁. Потенциал предполагается положительным для образов, принадлежащих классу ω₁, и отрицательным для образов, принадлежащих классу ω₂. В таком случае кумулятивный потенциал К₁(х) представляет начальный вариант разделяющей границы.

При предъявлении второго образа х₂ обучающей выборки значение кумулятивного потенциала определяется следующим образом:

1. Если х₂ω₁ и К₁(х₂)>0 или х₂ω₂ и К₁(х₂)<0, то

К₂(х)= К₁(х).

Последнее означает, что кумулятивный потенциал не изменяется, если точка, представляющая выборочный образ, лежит с «правильной» стороны разделяющей границы, определенной кумулятивным потенциалом К₁(х).

2. Если х₂ω₁ и К₁(х₂)≤0, то

К₂(х)= К₁(х)+К(х,х₂)=±К(х,х₁)+К(х,х₂ )

3. Если х₂ω₂ и К₁(х₂)≥0, то

К₂(х)= К₁(х) – К(х,х₂)=±К(х,х₁) – К(х,х₂).

Возникновение этих двух ситуаций означает, что при расположении точки, представляющей выборочный образ х₂, с «неправильной» стороны разделяющей границы, определенной кумулятивным потенциалом К₁(х), значение кумулятивного потенциала увеличивается на величину К(х,х₂) для образа х₂ω₁ и уменьшается на величину К(х,х₂) для образа х₂ω₂.

При предъявлении третьего образа х₃ обучающей выборки кумулятивный потенциал определяется аналогично.

1. Если х₃ω₁ и К₂(х₃)>0 или х₃ω₂ и К₂(х₃)<0, то

К₃(х)= К₂(х).

Другими словами, в тех случаях, когда разделяющая граница, определенная кумулятивным потенциалом К₂(х), обеспечивает правильную классификацию, кумулятивный потенциал не изменяется.

2. Если х₃ω₁ и К₂(х₃)≤0, то

К₃(х)= К₂(х)+К(х,х₃)=±К(х,х₁) ±К(х,х₂)+К(х,х₃). (6.4)

3. Если х₃ω₂ и К₂(х₃)≥0, то

К₃(х)= К₂(х) – К(х,х₃)=±К(х,х₁)±К(х,х₂) – К(х,х₃). (6.5)

Другими словами, в тех случаях, когда разделяющая граница, определенная кумулятивным потенциалом К₂(х), не обеспечивает правильной классификации, значение кумулятивного потенциала увеличивается на величину К(х,х₃) в зависимости от принадлежности образа х₃ классу ω₁ или ω₂. Член К(х,х₂), входящий в уравнения (6.4) и (6.5), будет, естественно, отсутствовать, если образ х₂ классифицируется правильно.

Пусть, наконец, К_к(х) – значение кумулятивного потенциала, полученное после предъявления k образов из обучающей выборки х₁, х₂,…, х_к. Кумулятивный потенциал К_к+1(х), возникающий после предъявления (k+1)-го выборочного образа, определяется так:

1. Если х_к+1ω₁ и К_к(х_к+1)>0 или х_к+1ω₂ и К_к(х_к+1)<0, то

К_к+1(х)= К_к(х). (6.6)

2. Если х_к+1ω₁ и К_к(х_к+1)≤0, то

К_к+1(х)= К_к(х)+К(х,х_к+1). (6.7)

3. Если х_к+1ω₂ и К_к(х_к+1)≥0, то

К_к+1(х)= К_к(х) – К(х,х_к+1). (6.8)

Уравнения (6.6) – (6.8) определяют алгоритм итеративного потенциала. Этот алгоритм можно записать как

К_к+1(х)=К_к(х)+r_к+1К(х,х_к+1), (6.9)

где коэффициенты r_к+1 при корректирующем члене определяются соотношениями

Если алгоритм дает правильную классификацию, то коэффициент r_к+1=0. Если же алгоритм классифицирует образ неправильно, то коэффициент r_к+1=+1 или (-1) в зависимости от принадлежности соответствующего образа классу ω₁ или классу ω₂.

Исключив, из заданной обучающей последовательности {x₁, x₂,…,x_k,…} те образы, при классификации которых значения кумулятивных потенциалов не подвергаются изменению, т.е. образы, для которых выполняются условия К_j(х_j+1)>0 при х_j+1ω₁ или К_j(х_j+1)<0 при х_j+1ω₂, можно сформировать последовательность { }. Элементами этой редуцированной обучающей последовательности являются выборочные образы, обеспечивающие исправление ошибок. В таком случае рекуррентные уравнения (6.7) и (6.8) дают следующее выражение для определения значения кумулятивного потенциала К_к+1(х) после предъявления обучающей выборки:

(6.10)

где

(6.11)

Коэффициент α_j называют показателем класса, поскольку он указывает, к какому классу принадлежит выборочный образ . Из (6.10) и (6.11) следует, что кумулятивный потенциал, вызванный последовательностью k+1 выборочного образа, равен разности между полным потенциалом, вызванным исправляющими ошибки выборочными образами, принадлежащими классу ω₁, и полным потенциалом, вызванным исправляющими ошибки выборочными образами, принадлежащими классу ω₂.

Из описанного алгоритма метода потенциальных функций очевидно, что кумулятивный потенциал выполняет роль решающей функции. Другими словами, в тех случаях, когда значение кумулятивного потенциала К_к(х_к+1) больше нуля, если х_к+1ω₁, либо меньше нуля, если х_к+1ω₂, значение кумулятивного потенциала не корректируется. С другой стороны, неправильная классификация образа в процессе обучения приводит к изменению потенциальной функции. Следовательно, алгоритм метода потенциальных функций представляет собой итеративную процедуру, обеспечивающую непосредственное определение решающей функции для разделения классов ω₁ и ω₂; таким образом, положив d(x)=K(x), из уравнения (6.9) получаем

d_k+1(x)=d_k(x)+r_k+1K(x,x_k+1), (6.12)

что полностью соответствует формулировке (6.3).

Способ вычисления коэффициента r_k+1 формируется в компактном виде так:

где показатель α_k+1 определяется выражением (6.11) и функция имеет в данном случае вид =1 или (-1) в зависимости от того, больше нуля значение функции или оно меньше или равно нулю соответственно. Если решающая функция классифицирует образ х_к+1 правильно, то r_k=0 и в результате значение кумулятивного потенциала не изменяется.

Исходя из (6.2), уравнение (6.12) можно представить в другой рекуррентной форме:

(6.13)

где коэффициенты зависят от числа итераций, выполненных в процессе обучения. Из этого уравнения, а также проведенного выше анализа заключаем, что кумулятивный потенциал также имеет вид

(6.14)

Объединив уравнения (6.12), (6.13) и (6.1), получим формулу

(6.15)

которую можно использовать для итеративного вычисления коэффициентов разложения.