11. Линейно-сепарабельные задачи.

Обучить – значит провести разделяющую образцы прямую, найти ее направление.

Признаки объекта интерпретируются как координаты признакового пространства, тогда каждый объект обучающей выборки представлен точкой пространства. Разграничительная поверхность определяется текущим состоянием весов. В состоянии до обучения такая поверхность не разделяет классы, а после обучения должна разделять.

Если разделяющая поверхность является n-мерной гиперплоскостью, то задача называется линейно сепарабельной.

Рисунок 5Иллюстрация разбиения объектов на два класса

ИНС (искусственные НС) могут быть созданы путем имитации модели сетей нейронов на компьютере. Используя алгоритмы, которые имитируют процессы реальных нейронов, мы можем заставить сеть «учиться», что помогает решить множество различных проблем.

Модель нейрона представляется как пороговая величина (она проиллюстрирована на рисунке 1а). Модель получает данные от ряда других внешних источников, определяет значение каждого входа и добавляет эти значения. Если общий вход выше пороговой величины, то выход блока равен единице, в противном случае – нулю. Таким образом, выход изменяется от 0 до 1, когда общая «взвешенная» сумма входов равна пороговой величине. Точки в исходном пространстве, удовлетворяющие этому условию, определяют, так называемые, гиперплоскости. В двух измерениях, гиперплоскость – линия, в то время как в трех измерениях, гиперплоскость является нормальной (перпендикулярной) плоскостью. Точки с одной стороны от гиперплоскости классифицируются как 0, а точки с другой стороны – 1. Это означает, что задача классификации может быть решена с использованием пороговой величины, если два класса будут разделены гиперплоскостью. Эти проблемы называются линейно сепарабельными и изображены на рисунке 1b.

12. Нейронная сеть как универсальный аппроксиматор.

См. вопрос 10

13. Сети Кохонена. Алгоритм обучения «победитель забирает все» Сети Кохонена

Нейронные сети Кохонена — класс нейронных сетей, основным элементом которых является слой Кохонена. Слой Кохонена состоит из адаптивных линейных сумматоров («линейных формальных нейронов»). Как правило, выходные сигналы слоя Кохонена обрабатываются по правилу «победитель забирает всё»: наибольший сигнал превращается в единичный, остальные обращаются в нуль.

По способам настройки входных весов сумматоров и по решаемым задачам различают много разновидностей сетей Кохонена:

• Сети векторного квантования сигналов, тесно связанные с простейшим базовым алгоритмом кластерного анализа (метод динамических ядер или K-средних)

• Самоорганизующиеся карты

• Сети векторного квантования, обучаемые с учителем

• Самоорганизующиеся карты решают задачу классификации. У нее есть сколько-то центров и после обучения к каждому этому центру она будет относить объекты по принципу ближайшего соседства. Обучается алгоритмом без учителя.

Слой Кохонена (базовая версия)

Слой Кохонена состоит из некоторого количества n параллельно действующих линейных элементов. Все они имеют одинаковое число входов m и получают на свои входы один и тот же вектор входных сигналов x = (x₁,...x_m). На выходе j-го линейного элемента получаем сигнал

где w_ji — весовой коэффициент i-го входа j-го нейрона, w_j0 — пороговый коэффициент.

После прохождения слоя линейных элементов сигналы посылаются на обработку по правилу «победитель забирает всё»: среди выходных сигналов y_j ищется максимальный; его номер j_max = argmax _j{y_j}. Окончательно, на выходе сигнал с номером j_max равен единице, остальные — нулю. Если максимум одновременно достигается для нескольких j_max , то либо принимают все соответствующие сигналы равными единице, либо только первый в списке (по соглашению). «Нейроны Кохонена можно воспринимать как набор электрических лампочек, так что для любого входного вектора загорается одна из них».

Простейшая сеть Кохонена – нелинейная однослойная сеть. Каждый выходной нейрон назначается на определенный кластер. При каждом срабатывании только 1 нейрон активен. Определение активного нейрона осуществляется с помощью сравнения вектора входов с векторами весов всех выходных нейронов. Сеть Кохонена называют соревновательным слоем, если она входить в состав другой нейронной сети.