- •2.1. Решающие поверхности и дискриминантные функции
- •2.2. Линейные дискриминантные функции
- •2.2.1. Общая форма лдф
- •2.2.2. Классификация по минимуму расстояния
- •2.2.3. Линейная разделимость
- •2.3. Кусочно-линейные дискриминантные функции (клд)
- •2.3.1.Определение клд и правило ближайшего соседства
- •Случай 3.
- •2.4.Нелинейные дискриминантные функции
- •2.5.2. Емкость φ-машин для классификации образов.
- •2.6. Потенциальные функции как дф
2.2.3. Линейная разделимость
Говорят, что классы линейно разделимы, если они классифицируются какой-либо линейной функцией, как ,например, показано на рис.2.7а
рис.2.7 Линейная разделимость между классами
(а) классы Wi иWjлинейно разделимы
(b) (c) классыWi иWjне разделимы линейно
Из рис.2.7 видно, что решающая поверхность в линейно-разделимом случае является выпуклой. По определению говорят, что функция выпуклая в данной области, если прямая линия, проведенная в данной области, лежит целиком в или выше функции.
Пример выпуклой функции (рис.2.8а)
рис.2.8 Свойство выпуклости функции
(а) выпуклая решающая функция
(b) невыпуклая решающая функция
2.3. Кусочно-линейные дискриминантные функции (клд)
КЛД позволяют решить эффективно проблемы классификации для линейно неразделимого случая.
2.3.1.Определение клд и правило ближайшего соседства
Кусочно-линейная функция — это функция, которая линейна в отдельных областях пространства признаков. КЛДФ дают кусочно-линейные границы между классами (категориями) как показано на рис.2.9а.
рис.2.9. Кусочно-линейная разделимость для различных классов.
Где разделяющая поверхность, показанная на рис. 2.9 невыпуклая.
ДФ определяется как
она состоит в том, что мы находим максимум dkm(x) среди прототипов класса к, гдеNk– число прототипов в классе к и
Три различных случая классификации образов могут быть перечислены.
Случай 1.
Каждый класс образов отделяется от других классов одной решающей поверхностью, как показано на рис. 2.10а
рис.2.10.Три различных случая в распознавании образов
(а) каждый класс отделяется от другого единственной разделяющей плоскостью
(b) каждый класс разделяется попарно от другого отдельной разделяющей плоскостью
(с)тоже, что и (b), но без областей неопределенностей
Случай 2
Каждый касс отделяется от другого класса попарно разделяющей решающей поверхностью. Области неопределенности также могут существовать. В этом случае нет класса, отделяемого от другого одной решающей поверхностью от других.
Например: w1может быть отделена от w2поверхностью d12(x)=0 и от w3d13(x)=0 (рис.2.10.). Всего существуетM(M-2)/2 решающих поверхностей, представляемых какdij(x)=0 и когда dij(x)>0 i=j.
Случай 3.
Каждый класс отделяется попарно от других классов, но отсутствуют области неопределенности ( это специальный вариант случая 2 рис.2.10с). В этом случае имеется М решающих функций.
2.3.2. Многослойные машины
Двухслойная машина хорошо известна как коммитет, называется так потому, что в ней есть возможность голосования для каждой ЛДФ, определяющей свою классификацию (р.31).
На рис.2.11. показана такая машина.
Первый слой_это часть до Σ и справа от него второй слой.
определяют r-различных ДФ, представляют собой n-мерные вектора.
Первый слой состоит из нечеткого числа ДФ, чьи выходы клишируются пороговым логическим элементом как +1 или-1, в зависимости от значения f(x). Второй слой — это одна линейная поверхность с единичным весовым вектором, используемым для решения к какому классу окончательно относится вектор. Когда используется адаптивная обратная связь для обучения порогового логического элемента с , пороговый логический элемент называется адаптивным пороговым элементом (ADALINE). Когда в машине используется много пороговых элементов, это называется MADALINE — коммитет-машина (commitet).
Рассмотрим простую двухклассовую проблему для геометрической интерпретации такой машины.
Пусть мы имеем три логических элемента в первом слое:R=3 будут определять три гиперплоскости в пространстве признаков, как показано на рис.2.12.
Многослойная машина будет разделять пространство образов геометрически на семь областей. Таблица 2.1 содержит значения для каждой области с 1 и 0 соответствующих больше или меньше 0, соответственно. Нет областей, которые лежат одновременно на отрицательной стороне всех трех гиперплоскостей так что 0,0,0 никогда не может иметь место.
Таблица 2.1.
Величины в различных областях пространства образов.