2.2. Линейные дискриминантные функции

Как было рассмотрено ранее, дискриминантная функция позволяет разделить в пространстве образов различные классы путем построения разделяющих поверхностей.

Дискриминантные функции могут быть линейными и нелинейными в зависимости от типа задачи.

В этом разделе мы рассмотрим общую форму линейной дискриминантной функции (ЛДФ) и затем применим ее к построению классификатора по минимуму расстояния. Также будет рассмотрено понятие линейной разделимости.

2.2.1. Общая форма лдф

ЛДФ может быть представлена в следующей форме:

d_k(Х) = w_k1*x₁+w_k2*x₂+………. w_кn*x_n+ w_к,n+1*x_n+1

или в матричной форме

d_k(Х) = W_k^т_*Х , где , ,

и х_n+1 = 1 в рассмотренном векторе образа.

Для 2-х классовой задачи М=2

d(Х) = w₁^т_*x +w₂^т_*x = (w₁ -w₂₎^т_*x = 0

представляет собой гиперплоскость проходящую через 0 в расширенном пространстве признаков.

2.2.2. Классификация по минимуму расстояния

Хотя этот классификатор был предложен достаточно давно, до сих пор он остается эффективным инструментом решения задачи классификации.

Решающее правило, используемое в этом методе, имеет вид:

xW_j , если D(x, z_j)= D(x, z_k), k=1,…M

где D(°) — метрика, называемая евклидовым расстоянием образа х от z_k, и z_k — есть эталонное среднее (или центр класса) для класса W_k.

Тогда

D(x, z_k) = |x - z_k|

Исходя из D(x, z_k) > D(x, z_j) j,k

Имеем

D²(x, z_k) > D²(x, z_j)

Другими словами, мы можем использовать D² вместо D в решающем правиле:

D²(x, z_k) = |x - z_k|²

Или в матричной форме

D²(x, z_k) = (x - z_k)^т (x - z_k) = х^тх –2х^т z_k + z_k^т z_k

Учитывая, что выражение х^тх является постоянной для всех к, его можно отбросить. Тогда поиск минимума D(x, z_k) эквивалентен поиску

[–2х^т z_k + z_k^т z_k]

или альтернативно мы должны найти

[х^т z_{k -} ½z_k^т z_k], к=1,2,…М

Последнее выражение определяет классификатор по минимуму расстояния. ДФ, используемая в классификаторе, может быть выражена как

d_k(Х) = х^т z_{k -} ½z_k^т z_{k =} х^т z_{k -} ½ |z_k|² = х^т W

где

и — расширенный вектор

Отметим, что решающая поверхность между любыми двумя классами W_i и W_j образуется плоскостью, перпендикулярной линии z_i - z_j, проходящей через ее середину.

Рис.

Доказательство этого очень просто.

Уравнение решающей поверхности классами W₁ и W₂ имеет вид

d(Х) = х^т (z_{1 –} z₂ ) - ½(z₁^т z_{1 –} z ₂^т z₂ =0

Возьмем точку — середину отрезка, соединяющего z₁ , z₂

Подставим z_ср в выражение d(x)

Очевидно, сама гиперплоскость, разделяющая W₁ и W₂ определяется вектором нормали:

Отметим, что классификатор по минимуму расстояния использует для представления каждого класса одну точку.

Такое представление будет справедливым для случая нормального распределения с равными дисперсиями по каждой координате, как показано на рис.2.6а

рис.2.6

Однако в случае, если классы не будут нормально распределенными с одинаковыми дисперсиями по всем координатам, как показано на рис.2.6.b, то будет иметь место неправильная классификация.

Даже если D₁ < D₂, точка + должна быть отнесена к W₂ вместо W₁. Аналогично, на рис.2.6с точка + должна быть отнесена к W₃ по минимуму расстояния, однако она ближе кW₂.

Т.о., представление класса одной точкой не является хорошим решением. Если представить каждую категорию образов с помощью мультипрототипов, вместо единичного прототипа, тогда

D(x, W_k)=[ D(x, z_k^m)], (2.21)

Где к представляет к-ую категорию, m — номер m-го прототипа, N_к — число прототипов для категории к.

Это уравнение дает наименьшее расстояние между Х и каждым прототипом из W_k.

Тогда решающее правило становится таким

x W_j, если D(x, W_j)=[ D(x, W_k)],

где D(x, W_k) дается выражением (2.21)

ДФ изменяется соответственно так

d_k(Х) = [х^т z_k^m _- ½|z_k^m|²], к=1,2,…М