31. Нейрон Мак-Каллока-Питтса.

Первым примером нейросетевой модели является нейрон Мак-Каплока-Питтса [McCulloch и Pitts. 1943]. На вход нейрона подаются биполярные сигналы (равные +1 или -1). Активационная функция — это пороговая зависимость, результат которой вычисляется следующим образом. Если взвешенная сумма входов не меньше нуля, выход нейрона принимается равным 1, в противном случае - -1. В своей работе Мак-Калпок и Питгс показали, как на основе таких нейронов можно построить любую логическую функцию. Следовательно, система из таких нейронов обеспечивает полную вычислительную модель.

На рисунке показан пример вычисления логических функций И и ИЛИ с помощью нейронов Мак-Каллока-Питгса. Каждый из этих нейронов имеет три входа, первые два из которых задают аргументы функции x и y, а третий, иногда называемый пороговым (bias), всегда равен 1. Весовые коэффициенты связей для входных нейронов составляют соответственно +1, +1 и - 2. Тогда для любых входных значений x и y нейрон вычисляет значение x+y-2. Если это значение меньше 0, выходным значением нейрона является -1, в противном случае 1. Из таблицы видно, что такой нейрон, по существу вычисляет значение функции . Аналогично можно удостовериться в том, что второй нейрон на рисунке вычисляет значение логической функции ИЛИ.

Несмотря на то что Мак-Каллок и Питгс продемонстрировали возможности нейросетевых вычислений, реальный интерес к этой области проявился только после разработки применимых на практике алгоритмов обучена. Первые модели обучения во многом связаны с работами специалиста по психологии Д. О. Хебба, который в 1949 году предположил, что обучение биологических существ связано с модификацией синапсов в мозгу. Он показал, что многократное возбуждение синапса приводят к повышению его чувствительности и вероятности его возбуждения в будущем. Если некоторый стимул многократно приводит к активизации группы клеток, то между этими клетками возникает сильная ассоциативная связь. Поэтому в будущем подобный стимул приведет к возбуждению тех же связей между нейронами, что в свою очередь обеспечит распознавание стимула. Модель обучения Хебба основана только на идее подкрепления и не учитывает забывчивость, штрафы за ошибки или износ. Современные психолога пытались реализовать модель Хебба, но не смогли получить достаточно общих результатов без добавления механизма забывчивости. Модель обучения Хебба более подробно будет рассмотрена в разделе 10.5.

В следующем разделе модель нейрона Мак-Каллока-Хебба расширена за счет формирования слоен взаимосвязанных нейронов и добавления алгоритмов их взаимодействия. Первая версия такой нейроподобной структуры получила название персептрона (perception).

32. Персептрон ф. Розенблата.

В качестве предмета исследования искусственные нейронные сети впервые заявили о себе в 1940-е годы. Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений. Когда нейрофизиологи достигли более глубокого понимания нервной системы человека, эти ранние попытки стали восприниматься как весьма грубые аппроксимации. Тем не менее, на этом пути были достигнуты впечатляющие результаты, стимулировавшие дальнейшие исследования, которые привели к созданию более изощренных сетей.

Проблема функции «Исключающего ИЛИ»

Один из самых пессимистических результатов М.Л. Минского гласит, что однослойный персептрон не может воспроизвести такую простую функцию, как «Исключающее ИЛИ». Это функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Проблему можно проиллюстрировать с помощью однослойной однонейронной системы с двумя входами, показанной на рисунке:

Обозначим один вход через , а другой через , тогда все их возможные комбинации будут состоять из четырех точек на плоскости , как показано на рисунке ниже. Например, точка и обозначена на рисунке как точка . Таблица показывает требуемую связь между входами и выходом, где входные комбинации, которые должны давать нулевой выход, помечены и , единичный выход - и .

В сети на первом рисунке функция является обычным порогом, так что OUT принимает значение 0, когда NET меньше 0,5, и 1 в случае, когда NET больше или равно 0,5. Нейрон выполняет следующее вычисление:

(1)

Никакая комбинация значений двух весов не может дать соотношения между входом и выходом, задаваемого таблице. Чтобы понять это ограничение, зафиксируем на величине порога 0,5. Сеть в этом случае описывается уравнением (2). Это уравнение линейно по и , т. е. все значения по и , удовлетворяющие этому уравнению, будут лежать на некоторой прямой в плоскости .

(2)

Любые входные значения для и на этой линии будут давать пороговое значение 0,5 для . Входные значения с одной стороны прямой обеспечат значения больше порога, следовательно, . Входные значения по другую сторону прямой обеспечат значения NET меньше порога, делая равным 0. Изменения значений , и порога будут менять наклон и положение прямой. Для того чтобы сеть реализовала функцию ИСКЛЮЧАЮЩЕЕ ИЛИ, заданную таблице, нужно расположить прямую так, чтобы точки , были с одной стороны прямой, а точки , — с другой. Попытавшись нарисовать такую прямую на втором рисунке, убеждаемся, что это невозможно. Это означает, что какие бы значения ни приписывались весам и порогу, сеть неспособна воспроизвести соотношение между входом и выходом, требуемое для представления функции ИСКЛЮЧАЮЩЕЕ ИЛИ. Взглянув на задачу с другой точки зрения, рассмотрим как поверхность над плоскостью . Каждая точка этой поверхности находится над соответствующей точкой плоскости на расстоянии, равном значению в этой точке. Можно показать, что наклон этой -поверхности одинаков для всей поверхности . Все точки, в которых значение равно величине порога, проектируются на линию уровня плоскости (см. рисунок ниже).

Ясно, что все точки по одну сторону пороговой прямой проецируются в значения большие порога, а точки по другую сторону дадут меньшие значения . Таким образом, пороговая прямая разбивает плоскость на две области. Во всех точках по одну сторону пороговой прямой значение равно единице, по другую сторону — нулю.