2.4.Нелинейные дискриминантные функции

ЛДФ — это простейшие ДФ, но часто приходится использовать нелинейные ДФ (НЛДФ). Квадратическая функция имеет следующий вид:

Первый набор весов в (2.3.1) в правой части состоит из nвесовw_ij= 1,2,…,n, второй наборw_jk j=1,2,…,n-1,k= 2,3,…,n, состоит изn(n-1)/2 весов, и третий -w_jj,j=1,2,…,n– изnвесов, и последний наборw_n+1 – только один коэффициент. Отсюда следует, что полное число весовd(x) равно (n+1)(n+2)/2. Выражение 2.31 можно представить в матричной форме.

Отметим, что если все собственные числа λ матрицы А положительны, то квадратичная форма x^TAxникогда не будет отрицательной иx^TAx=0, если= 0. Это значит, что матрица А — положительно определенная и квадратичная форма тоже положительно определенная. Однако, если один или более λ равно 0, в то время как другие положительны, матрица А будет положительно полуопределенной.

Вспомним, что решающая поверхность определяется как

d_j(x) = d_i(x)

или

d_j(x) -d_i(x) = 0

Для квадратического случая квадратическая разделяющая поверхность определяется уравнением

Варианты квадратической поверхности будут определяться матрицей А=(A_i-A_j). Если А положительно определена, то решающая поверхность будет гиперэллипсоидом с осями в направлении собственных чисел. Если А=aI- единичная матрица, то реш. поверхность будет гиперсферой. ЕслиA– положительно полуопределена решающая поверхность есть гиперэллипсоидальный цилиндр , состоящий из пересекающихся областей в виде гиперэллипсоидов меньшей чемnразмерности с осями в направлении ненулевых собственных векторов. В другом случае (когда А отрицательно определена) – решающая поверхность – гиперболоид.

2.4. Ф-машины

Ф-машины (φ) вид классификаторов, в которых для классификации используются φ функции. φ функция (обобщенная дискриминантная функция записывается в виде:

где f_i(x);i=1,…,M- линейно независимо вещественные, однозначно определенные функции, независимые отW_i.

Отметим, что φ(х) – линейно относительно W_i, однако,f_i(x)- необязательно предполагается линейным.

В этой системе имеется М+1 степеней свободы. Для примера возьмем ту же нелинейную, которая рассмотрена в 2.4.

Схематически диаграмма φ машины для этой проблемы показана на рис. 2.13.

Fблок – это квадратичный процессор иF=(f₁,f₂,…,f_M). Первыеnкомпонентесть, следующиеn(n-1)/2 компонент есть все парыи последниеnкомпонентобщее число компонент М =n(n+3)/2. Т.о. мы имеем трансформациюn-мерного пространства образов в М-мерное φ-пространство.

2.5.2. Емкость φ-машин для классификации образов.

Вычислим число дихотомий, которые могут быть получены для Nобразов. Предположим, что М=2 и мы имеемNn-мерных образов. Т.к. каждый образ может попасть либо вw₁, либо вw₂, существует 2^N различных путей, которымиNобразов могут быть дихотомизированы. ДляN=3 мы будем иметь 8 дихотомий,N=4 – 16 дихотомий. Общее число дихотомий, которое может обеспечить ЛДФ (φ-машина, в φ-пространстве) зависит только отnиN, но не от того, как расположены образы в пространстве образов, образованном φ-функциями.

Пусть D(N,n) будет числом дихотомий, которые могут быть получены линейной машиной (линейные дихотомии) дляNобразов вn-мерном пространстве. На примере, приведенном на рис. 2.14 для 4 образов показаны все возможные линейные дихотомии.

Каждая линейная поверхность l_iделит образы двумя способами.

Например l_3.

Общее число линейных дихотомий Nточек вn-мерном евклидовом пространстве равно удвоенному числу путей, которыми эти точки могут быть разделены (n-1)-мерными гиперплоскостями. Так,D(4,2) = 2*7 = 14. Сравнивая с общим числом возможных дихотомий 2^N= 16, мы находим, что две дихотомии линейно нереализуемы. На рис. видно, что точки (x₁,x₄) и (x₂,x₃) не могут быть линейно разделены. Можно показать, что общее число линейных дихотомий определяется следующим соотношением.

Обобщим эту проблемму нахождения вероятности получить желаемую дихотомию. Для заданной φ-машины и последовательности из Nобразов в пространстве образов возможно 2^Nдихотомий и любая из них может быть выбрана с вероятностью 2^-N. Для обобщенной решающей функции

вероятность P_N,M­того, что любая дихотомия может быть получена, определяется как:

P_N,M­= число φ-дихотомий / общее число возможных дихотомий =D(N,M)/ 2^N.

Отметим, что P_N,M=1 дляN<=M+1, что означает, что число образов меньше числа возможных весов для обобщенной решающей функции и, соответственно, образы могут быть всегда линейно разделены в М-мерном пространстве образов. Проведенный выше анализ не говорит нам как выбратьd(x) или φ(х), однако он оценивает возможность данной машины осуществлять дихотомию образов. Например, если у нас для двух классов имеетсяNобразов, мы можем быть уверены, что если взять большое М, то всегда найдется подходящий.

Возьмем параметр λ.

N= λ(M+1)

И построим зависимость:

P_{N,M =} P_N,λ

Рис.

Видно, что пороговое значение λ = 0,5. Тогда можно определить дихотомизационную мощность решающего правила как:

С=2(М+1)

Видно, что чем больше размерность, тем больше мощность. Мощность – это пороговое значение длины обучающей выборки при котором еще можно получить заданную дихотомию с достаточно высокой вероятностью.

Линейный классификатор.

Пример: для двух классов в двухмерном пространстве с квадратической ДФ мы имеем

Тогда емкость дихотомизации будет С=2(М+1) = 20

Если N<20 мы имеем возможность надежного выбора.

Этот пример говорит нам сколько нужно иметь элементов в хорошей обучающей выборке.