Персептрон Розенблатта и правило Хебба

Идея Мак-Каллока–Питтса была материализована в 1958г. Фрэнком Розенблаттом сначала в виде компьютерной программы для ЭВМ IBM-794, а затем, спустя два года, в виде электронного устройства, моделирующего человеческий глаз. Это устройство, имеющее в качестве элементной базы модельные нейроны Мак-Каллока–Питтса и названное персептроном, удалось обучить решению сложнейшей интеллектуальной задачи – распознаванию букв латинского алфавита. Таким образом, удалось проверить основные гипотезы функционирования человеческого мозга и сам механизм его обучаемости.

Разберем принцип действия персептрона на примере решения конкретных задач. На рис. 4 приведен один из простейших вариантов исполнения персептрона, предназначенного для классификации цифр на четные и нечетные.

Рис.4. Персептрон, классифицирующий цифры на четные и нечетные

Представим себе матрицу из 12 фотоэлементов, расположенных в виде четырех горизонтальных рядов, в каждом из которых три фотоэлемента. На матрицу фотоэлементов накладывается карточка с изображением цифры (на рис.4 – это цифра 4). Если на фотоэлемент попадает какой-либо фрагмент цифры, то данный фотоэлемент вырабатывает сигнал в виде двоичной единицы, в противном случае – нуль. На рис. 5 первый фотоэлемент выдает сигнал х₁ = 0, второй фотоэлемент  х₂ = 1 и т.д. Согласно формулам (1)  (3) персептронный нейрон выполняет суммирование входных сигналов X_j, помноженных на синаптические веса w_j, первоначально заданные датчиком случайных чисел. После этого сумма сравнивается с порогом чувствительности , также заданным случайным образом. Цель обучения персептрона состоит в том, чтобы выходной сигнал у был равен единице, если на карточке была изображена четная цифра, и нулю, если цифра была нечетной.

Эта цель достигается путем обучения персептрона, заключающемся в корректировке весовых коэффициентов w_j. Если, например, на вход персептрона была предъявлена карточка с цифрой 4 и выходной сигнал у случайно оказался равным единице, означающей четность, то корректировать веса не нужно, так как реакция персептрона правильна. Однако если выход неправилен и у = 0, то следует увеличить веса тех активных входов, которые способствуют возбуждению нейрона. В данном случае увеличению подлежат w₂, w₁₁ и др.

Таким образом, можно сформулировать следующий итерационный алгоритм корректировки весовых коэффициентов, обеспечивающий обучение персептрона в нужном направлении.

Шаг 1. Подать входной образ и вычислить выход персептрона у.

Шаг 2, а. Если выход правильный, то перейти на шаг 1.

Шаг 2, б. Если выход неправильный и равен нулю, то увеличить веса активных входов, добавить все входы к соответствующим им весам: w_j(t + 1) = w_j(t) + x_j.

Шаг 2, в. Если выход неправильный и равен единице, то уменьшить веса активных входов, вычесть каждый вход из соответствующего ему веса: w_j(t + 1) = w_j(t)  x_j.

Шаг 3. Перейти на шаг 1 или завершить процесс обучения

В приведенном здесь алгоритме шаг 2, б называют первым правилом Хебба, а шаг 2,в  вторым правилом Хебба, в честь ученого, предложившего этот алгоритм в 1949г.

Возникает вопрос: «Всегда ли алгоритм обучения персептрона приводит к желаемому результату?». Ответ на этот вопрос дает теорема сходимости персептрона, формулируемая следующим образом:

Если существует множество значений весов, которые обеспечивают конкретное различение образов, то в конечном итоге алгоритм обучения персептрона приводит либо к этому множеству, либо к эквивалентному ему множеству, такому, что данное различение образов будет достигнуто.