3)Одиночный нейрон, топология и функции активации

Простейшим устройством распознавания образов, принадлежащим к рассматриваемому классу сетей, является одиночный нейрон, превращающий входной вектор признаков в скалярный ответ, зависящий от линейной комбинации входных переменных:

Здесь и далее мы предполагаем наличие у каждого нейрона дополнительного единичного входа с нулевым индексом, значение которого постоянно: x0 ≡ 1. Это позволит упростить выражения, трактуя все синаптические веса wj , включая порог w0 , единым образом.

Скалярный выход нейрона можно использовать в качестве т.н. дискриминантной

функции. Этим термином в теории распознавания образов называют индикатор принадлежности входного вектора к одному из заданных классов. Так, если входные векторы могут принадлежать одному из двух классов, нейрон способен различить тип входа, например, следующим образом: если f (x) ≥ 0 , входной вектор принадлежит первому классу, в противном случае - второму.

Поскольку дискриминантная функция зависит лишь от линейной комбинации входов, нейрон является линейным дискриминатором. В некоторых простейших ситуациях линейный дискриминатор - наилучший из возможных, а именно - в случае когда вероятности принадлежности входных векторов к классу k задаются гауссовыми распределениями

с одинаковыми ковариационными матрицами Σ . В этом случае границы, разделяющие области, где вероятность одного класса больше, чем вероятность остальных, состоят из гиперплоскостей

принадлежности к различным классам - гауссовы, с одинаковым разбросом и разными центрами в пространстве параметров.

В общем случае поверхности раздела между классами можно описывать приближенно набором гиперплоскостей - но для этого уже потребуется несколько линейных дискриминаторов- нейронов.

Выбор функции активации

Монотонные функции активации f (⋅) не влияют на классификацию. Но их значимость можно повысить, выбрав таким образом, чтобы можно было трактовать выходы нейронов как вероятности принадлежности к соответствующему классу, что дает дополнительную информацию при классификации. Так, можно показать, что в упомянутом выше случае гауссовых распределений вероятности, сигмоидная функция активации нейрона f (a)=1 (1+exp(−a)) дает вероятность принадлежности к соответствующему классу.

Результаты многих исследований аппроксимирующих способностей перцептронов.

􀂄 Сеть с одним скрытым слоем, содержащим H нейронов со ступенчатой функцией

активации, способна осуществить произвольную классификацию Hd точек d-мерного

пространства

􀂄 Одного скрытого слоя нейронов с сигмоидной функцией активации достаточно для

аппроксимации любой границы между классами со сколь угодно высокой точностью.

Для задач аппроксимации последний результат переформулируется следующим образом:

􀂄 Одного скрытого слоя нейронов с сигмоидной функцией активации достаточно для

аппроксимации любой функции со сколь угодно высокой точностью.

Точность аппроксимации возрастает с числом нейронов скрытого слоя.

4)Персептрон Розенблата. Алгоритм обучения

В середине 1958 г. Фрэнком Розенблатом была предложена модель электронного устройства, названного им перцептроном, которое должно было бы имитировать процессы человеческого мышления. Перцептрон должен был передавать сигналы от "глаза", составленного из фотоэлементов, в блоки электромеханических ячеек памяти, которые оценивали относительную величину электрических сигналов. Эти ячейки соединялись между собой случайным образом в соответствии с господствующей тогда теорией, согласно которой мозг воспринимает новую информацию и реагирует на нее через систему случайных связей между нейронами. Два года спустя была продемонстрирована первая действующая машина "Марк-1", которая могла научится распознавать некоторые из букв, написанных на карточках, которые подносили к его "глазам", напоминающие кинокамеры. Чтобы научить перцептрон способности строить догадки на основе исходных предпосылок, в нем предусматривалась некая элементарная разновидность автономной работы или "самопрограммирования". При распознании той или иной буквы одни ее элементы или группы элементов оказываются гораздо более существеными, чем другие. Перцептрон мог научаться выделять такие характерные особенности буквы полуавтоматически, своего рода методом проб и ошибок, напоминающим процесс обучения. Однако возможности перцептрона были ограниченными: машина не могла надежно распознавать частично закрытые буквы, а также буквы иного размера или рисунка, нежели те, которые использовались на этапе ее обучения.

Опишем алгоритм обучения с учителем.

1. Проинициализировать элементы весовой матрицы (обычно небольшими

случайными значениями).

2. Подать на входы один из входных векторов, которые сеть должна научиться

различать, и вычислить ее выход.

3. Если выход правильный, перейти на шаг 4.

Иначе вычислить разницу между идеальным и полученным значениями выхода:

δ =Y −Y I

Модифицировать веса в соответствии с формулой:

w(t +1) = w (t) +ν ⋅δ ⋅ x

где t и t+1 – номера соответственно текущей и следующей итераций; ν – коэффициент

скорости обучения, 0<ν<1; i – номер входа.

Очевидно, что если YI > Y весовые коэффициенты будут увеличены и тем самым

уменьшат ошибку. В противном случае они будут уменьшены, и Y тоже уменьшится,

приближаясь к YI.

4. Цикл с шага 2, пока сеть не перестанет ошибаться.