2.2.3. Линейная разделимость

Говорят, что классы линейно разделимы, если они классифицируются какой-либо линейной функцией, как ,например, показано на рис.2.7а

рис.2.7 Линейная разделимость между классами

(а) классы W_i иW_j линейно разделимы

(b) (c)классыW_i иW_j не разделимы линейно

Из рис.2.7 видно, что решающая поверхность в линейно-разделимом случае является выпуклой. По определению говорят, что функция выпуклая в данной области, если прямая линия, проведенная в данной области, лежит целиком в или выше функции.

Пример выпуклой функции (рис.2.8а)

рис.2.8 Свойство выпуклости функции

(а) выпуклая решающая функция

(b) невыпуклая решающая функция

2.3. Кусочно-линейные дискриминантные функции (клд)

КЛД позволяют решить эффективно проблемы классификации для линейно неразделимого случая.

2.3.1.Определение клд и правило ближайшего соседства

Кусочно-линейная функция — это функция, которая линейна в отдельных областях пространства признаков. КЛДФ дают кусочно-линейные границы между классами (категориями) как показано на рис.2.9а.

рис.2.9. Кусочно-линейная разделимость для различных классов.

Где разделяющая поверхность, показанная на рис. 2.9 невыпуклая.

ДФ определяется как

она состоит в том, что мы находим максимум d_k^m(x) среди прототипов класса к, гдеN_k – число прототипов в классе к и

Три различных случая классификации образов могут быть перечислены.

Случай 1.

Каждый класс образов отделяется от других классов одной решающей поверхностью, как показано на рис. 2.10а

рис.2.10.Три различных случая в распознавании образов

(а) каждый класс отделяется от другого единственной разделяющей плоскостью

(b)каждый класс разделяется попарно от другого отдельной разделяющей плоскостью

(с)тоже, что и (b), но без областей неопределенностей

Случай 2

Каждый касс отделяется от другого класса попарно разделяющей решающей поверхностью. Области неопределенности также могут существовать. В этом случае нет класса, отделяемого от другого одной решающей поверхностью от других.

Например: w₁может быть отделена от w₂поверхностью d₁₂(x)=0 и от w₃d₁₃(x)=0 (рис.2.10.). Всего существуетM(M-2)/2 решающих поверхностей, представляемых как d_ij(x)=0 и когда d_ij(x)>0 i=j .

Случай 3.

Каждый класс отделяется попарно от других классов, но отсутствуют области неопределенности ( это специальный вариант случая 2 рис.2.10с). В этом случае имеется М решающих функций.

2.3.2. Многослойные машины

Двухслойная машина хорошо известна как коммитет, называется так потому, что в ней есть возможность голосования для каждой ЛДФ, определяющей свою классификацию (р.31).

На рис.2.11. показана такая машина.

Первый слой_это часть до Σ и справа от него второй слой.

определяют r-различных ДФ, представляют собой n-мерные вектора.

Первый слой состоит из нечеткого числа ДФ, чьи выходы клишируются пороговым логическим элементом как +1 или-1, в зависимости от значения f(x). Второй слой — это одна линейная поверхность с единичным весовым вектором, используемым для решения к какому классу окончательно относится вектор. Когда используется адаптивная обратная связь для обучения порогового логического элемента с , пороговый логический элемент называется адаптивным пороговым элементом(ADALINE). Когда в машине используется много пороговых элементов, это называется MADALINE — коммитет-машина (commitet).

Рассмотрим простую двухклассовую проблему для геометрической интерпретации такой машины.

Пусть мы имеем три логических элемента в первом слое:R=3 будут определять три гиперплоскости в пространстве признаков, как показано на рис.2.12.

Многослойная машина будет разделять пространство образов геометрически на семь областей. Таблица 2.1 содержит значения для каждой области с 1 и 0 соответствующих больше или меньше 0, соответственно. Нет областей, которые лежат одновременно на отрицательной стороне всех трех гиперплоскостей так что 0,0,0 никогда не может иметь место.

Таблица 2.1.

Величины в различных областях пространства образов.