Процедуры самообученя распознаванию образов

Рассмотрим методы построения дискриминантной функции по заданной (обучающей) выборке применительно к задаче о разделении образов на два класса. Если заданы два множества образов, принадлежащих соответственно классам А и В, то решение задачи построения линейной дискриминантной функции ищется в виде вектора весовых коэффициентов W=(w₁,w₂,...,w_n,w_n+1), обладающего тем свойством, что для любого образа выполняются условия

x принадлежит классу A, если [sum(w_jx_j ‑ x_j)+ w_n+1]>0, j=1,2,…n.

x принадлежит классу B, если [sum(w_jx_j ‑ x_j)+ w_n+1]<0, j=1,2,…n.

Если обучающую выборку составляют N образов обоих классов, задача сводится к отысканию вектора w, обеспечивающего справедливость системы неравенств Если обучающую выборку составляют N образов обоих классов, задача сводится к отысканию вектора w, обеспечивающего справедливость системы неравенств

x¹₁w_i+x₂₁w₂+...+x_n1w_n+w_n+1>0;

x¹₂w_i+x₂₂w₂+...+x_n2w_n+w_n+1<0;

................................................

x¹_iw_i+x_2iw₂+...+x_niw_n+w_n+1>0;

................................................

x¹_Nw_i+x_2Nw₂+...+x_nNw_n+w_n+1>0;

здесь x_i=(xⁱ₁,xⁱ₂,...,xⁱ_n,xⁱ_n+1) - вектор значений признаков образа из обучающей выборки, знак > соответствует векторам образов x, принадлежащих классу A, а знак < - векторам x, принадлежащих классу B.

Искомый вектор w существует, если классы A и B разделимы и не существует в противном случае. Значения компонент вектора w могут быть найдены либо предварительно, на этапе, предшествующем аппаратной реализации СРО, либо непосредственно самой СРО в процессе ее функционирования. Последний из указанных подходов обеспечивает большую гибкость и автономность СРО. Рассмотрим его на примере устройства, называемого перцентроном. изобретенного в 1957 году американским ученым Розенблатом. Схематичное представление перцентрона, обеспечивающего отнесение образа к одному из двух классов, представлено на следующем рисунке.

Сетчатка S Сетчатка A Сетчатка R

о                        о    x₁

о

о                         о     x₂

о

о                         о     x₃

о                                                      (sum)-------> R (реакция)

о                         о     x_i

о

о                         о     x_n

о

о                         о     x _n+1

Устройство состоит из сетчатки сенсорных элементов S, которые случайным образом соединены с ассоциативными элементами сетчатки A. Каждый элемент второй сетчатки воспроизводит выходной сигнал только в том случае, если достаточное число сенсорных элементов, соединенных с его входом, находятся в возбужденном состоянии. Реакция всей системы R пропорциональна сумме взятых с определенными весами реакций элементов ассоциативной сетчатки.

Обозначив через x_i реакцию i-го ассоциативного элемента и через w_i - весовой коэффициент реакции i-го ассоциативного элемента, реакцию системы можно записать как R=sum(w_jx_j), j=1,..,n . Если R>0, то предъявленный системе образ принадлежит классу A, а если R<0, то образ относится к классу B. Описание этой процедуры классификации соответствует рассмотренным нами раньше принципам классификации, и, очевидно, перцентронная модель распознавания образов представляет собой, за исключением сенсорной сетчатки, реализацию линейной дискриминантной функции. Принятый в перцентроне принцип формирования значений x₁, x₂,...,x_n соответствует некоторому алгоритму формирования признаков на основе сигналов первичных датчиков.

В общем случае может быть несколько элементов R, формирующих реакцию перцептрона. В таком случае говорят о присутствии в перцептроне сетчатки R реагирующих элементов.

Схему перцентрона можно распространить на случай, когда число классов более двух, путем увеличения числа элементов сетчатки R до числа различаемых классов и введение блока определения максимальной реакции в соответствии со схемой, представленной на выше приведенном рисунке. При этом образ причисляется к классу с номером i, если R_i>R_j, для всех j.

Процесс обучения перцентрона состоит в подборе значений весовых коэффициентов w_j так, чтобы выходной сигнал соответствовал тому классу, которому принадлежит распознаваемый образ.

Рассмотрим алгоритм действия перцентрона на примере распознавания объектов двух классов: A и B. Объектам класса A должно соответствовать значение R = +1, а классу B - значение R = -1.

Алгоритм обучения состоит в следующем.

Если очередной образ x принадлежит классу A, но R<0 (имеет место ошибка распознавания), тогда коэффициенты w_j c индексами, которым соответствуют значения x_j>0, увеличивают на некоторую величину dw, а остальные коэффициенты w_j уменьшают на dw. При этом значение реакции R получает приращение в сторону ее положительных значений, соответствующих правильной классификации.

Если x принадлежит классу B, но R>0 (имеет место ошибка распознавания), то коэффициенты w_j с индексами, которым соответствуют x_j<0, увеличивают на dw, а остальные коэффициенты w_j уменьшают на ту же величину. При этом значение реакции R получает приращение в сторону отрицательных значений, соответствующих правильной классификации.

Алгоритм таким образом вносит изменение в вектор весов w в том и только в том случае, если образ, предъявляемый на k-ом шаге обучения, был при выполнении этого шага неправильно классифицирован, и оставляет вектор весов w без изменений в случае правильной классификации. Доказательство сходимости данного алгоритма представлено в работе [Ту, Гонсалес]. Такое обучение в конечном итоге (при надлежащем выборе dw и линейной разделимости классов образов) приводит к получению вектора w, обеспечивающего правильную классификацию.