5.2. Принцип подкрепления - наказания

Обучающий алгоритм для персептрона, приведенного на рисунке 5.1, сводится к простой схеме итеративного определения векторов весов w. Рассмотрим краткое описание этой схемы, которую обычно называют алгоритмом персептрона.

Заданы два обучающих множества, представляющие классы ω₁ и ω₂ соответственно; пусть w(1) – начальный вектор весов, который выбирается произвольно. В таком случае k-й шаг обучения выглядит следующим образом.

Если x(k) ω₁ и w´(k)x(k)≤0, то вектор весов w(k) заменяется вектором

, (5.3)

где с – корректирующее приращение.

Если x(k) ω₂ и w´(k)x(k)≥0, то w(k) заменяется вектором

. (5.4)

В противном случае w(k) не изменяется, т.е.

.

Таким образом, алгоритм вносит изменения в вектор весов w в том и только том случае, если образ, предъявленный на k-м шаге обучения, был при выполнении этого шага неправильно квалифицирован с помощью соответствующего вектора весов. Корректирующее приращение должно быть положительным, и в данном случае предполагается, что оно постоянно.

Очевидно, что алгоритм персептрона является процедурой типа «подкрепление - наказание», причем, подкреплением за правильную классификацию образа, в сущности, служит отсутствие наказания. Иными словами, если образ классифицирован правильно, то система подкрепляется тем, что в вектор весов w не вносится никаких изменений. С другой стороны, если образ классифицируется неправильно и произведение w´(k)x(k) оказывается меньше нуля, когда оно должно быть больше нуля, система «наказывается» увеличением значения вектора весов w(k) на величину, пропорциональную x(k). Точно также, если произведение w´(k)x(k) оказывается больше нуля, когда оно должно быть меньше нуля, система «наказывается» противоположным образом. Сходимость алгоритма наступает при правильной классификации всех образов с помощью некоторого вектора весов.

Алгоритм персептрона можно представить в другой эквивалентной форме, умножив пополненные образы одного из классов на (-1). Таким образом, умножив все образы, например класса ω₂, на (-1), алгоритм перцептрона можно записать как

, (5.5)

где с – положительное корректирующее приращение.

5.3. Сходимость принципа подкрепления - наказания

В случае линейной разделимости рассматриваемых классов алгоритм, описанный выше, обеспечивает получение весового вектора решения за конечное число шагов. Для доказательства сходимости введем обозначения, которые упростят доказательство.

Пусть x₁, x₂,…, x_N представляют обучающее множество образов, относящихся к двум заданным классам, причем все образы, принадлежащие классу ω₂, умножены на (-1). Полагается, что в случае линейной разделимости классов алгоритм обучения (5.5) обеспечивает определение весового вектора решения w^*, отличающегося тем, что

(5.6)

Выражение (5.6) можно представить в несколько более общем виде, введя неотрицательную пороговую величину Т, такую, что при линейной разделимости классов

(5.7)

При этих условиях алгоритм (5.5) принимает вид

, (5.8)

причем вектор w(1) выбирается произвольным образом. Пусть для простоты с=1. Это допущение не нарушает общности рассуждений, так как любое другое значение с может быть введено в векторы образов в качестве нормирующей константы. Пороговая величина Т создает с обеих сторон гиперплоскости w´(k)x(k)=0 буферные области. Всякий образ, попадающий в эти области, квалифицируется неправильно.

Предполагается, что каждый образ предъявляется необходимое количество раз. Утверждается, что при линейной разделимости заданных классов, алгоритм (5.8) приведет за конечное число шагов к получению искомого результата. Доказательство существенно упростится, если помимо применения введенных выше обозначений принимать во внимание только те индексы k, при которых в процессе обучения имела место коррекция. Иначе говоря, если исключить те значения индекса k, которым соответствует правильная классификация образов, то, изменив снова запись индексов, можно прийти к выражению

(5.9)

и

(5.10)

для всех значений индекса k в обучающей последовательности, при которых происходила коррекция. Сходимость алгоритма на самом деле означает, что после некоторого конечного значения индекса k_m имеет место равенство

(5.11)

После введения всех этих упрощений доказательство сходимости алгоритма состоит в следующем. Из (5.9) получаем

. (5.12)

Скалярное произведение вектора w^* с обеими частями уравнения (5.12) дает

. (5.13)

Так как из условия (5.7) следует, что каждый член j=1,…,k, больше пороговой величины Т, то

(5.14)

Неравенство Коши – Шварца (||a||²||b||²≥(a´b)²) приводит к выражению

(5.15)

где ||a||² обозначает квадрат модуля вектора а. Неравенство (5.15) можно переписать в виде

(5.16)

После подстановки неравенства (5.14) в (5.16) получим неравенство

(5.17)

Другая ветвь рассуждений приводит к противоречию, касающемуся величины . Из (5.9) заключаем, что

(5.17)

или

. (5.18)

Используя неравенство (5.10) и полагая , придем к

(5.20)

Суммируя эти неравенства по всем j=1,2,…,k, получим

(5.21)

Сопоставление неравенств (5.17) и (5.21) показывает, что при достаточно больших значениях k границы, устанавливаемые для величины соответствующими неравенствами, противоречат друг другу. В самом деле, индекс k не может принимать значений, больших значения k_m, удовлетворяющего уравнению

(5.22)

Согласно (5.22), k_m – конечная величина, из чего следует сходимость алгоритма персептрона за конечное число шагов при условии линейной разделимости заданных классов. Это завершает доказательство сходимости алгоритма персептрона.

Алгоритм персептрона построен на основе метода адаптации посредством подкрепления и наказания. Этот алгоритм является представителем семейства итеративных процедур, которые можно строить с помощью метода градиента.

Пример. Рассмотрим образы, представленные на рис. 5.2. Применим к ним алгоритм персептрона с тем, чтобы определить весовой вектор решения.

Рис. 5.2. Иллюстрация принципа действия алгоритма персептрона

Из рисунка видно, что классы линейно разделимы, поэтому применение алгоритмам должно оказаться успешным. Прежде чем применять алгоритм пополним все образы. Рассматриваемые классы будут и . Задав c=1 и , получим по шагам:

1. 

2. 

3. 

4. 

5. 

6. 

7. 

8. 

Коррекция вектора весов проводилась на 2-ом и 6-ом шагах в соответствии с формулами (5.3) и (5.4) в связи с ошибками классификации. Полученный результат можно считать искомым решением только тогда, когда алгоритм осуществит без ошибок полный цикл итерации по всем образам, то обучающее множество следует предъявить еще раз. Процесс обучения продолжается при Второй цикл итерации приводит к следующим результатам:

1. 

2. - ошибка;

3. 

4. 

5. 

6. - ошибка;

7. 

8. 

Поскольку в данном цикле итерации совершено две ошибки, все образы предъявляются еще раз.

1. 

2. 

3. 

4. 

5. 

6. 

7. 

8. 

Нетрудно убедиться в том, что в следующем итеративном цикле все образы классифицируются правильно. Итак, вектор решения имеет вид Этому вектору соответствует решающая функция Приравнивание этой функции нулю дает уравнение разделяющей границы, приведенной на рис. 5.2 б.