Перцептрон и его математическая модель

Перцептрон является распознающим устройством, моделирующим работу человеческого мозга. Он представляет собой систему, включающую элементы трех типов. Элементы первого типа – S-элементы – образуют рецепторный слой, воспринимающий сигналы внешней среды (значения признаков х=(х₁, х₂, …, х_п), характеризующих воспринимаемые объекты). Элементы второго типа – A-элементы – воспринимают (каждый) сигналы от некоторой группы S-элементов и вырабатывают выходной сигнал, если совокупное входное воздействие от прикрепленной группы S-элементов превосходит заданный порог. Элементы третьего типа – R-элементы – соответствуют (каждый) определенному образу и воспринимают (каждый) линейную комбинацию сигналов от определенной группы А-элементов с соответствующим коэффициентом усиления для каждого А-элемента этой группы. Перцептрон выносит решение о принадлежности объекта образу с номером i, если для этого объекта выходной сигнал элемента R_i, больше, чем выходные сигналы всех других R-элементов.

Обучение перцептрона сводится к установлению по реакции на маркированные объекты обучающей последовательности таких значений коэффициентов усиления для сигналов с А-элементов, которые обеспечивают правильную классификацию объектов обучающей последовательности.

Рассмотрим общую математическую модель перцептрона. Совокупность S-элементов будем считать координатами вектора описания х=(х₁,х₂,…,х_п), n – число S-элементов. Будем далее считать, что связи S-элементов с А-элементами задаются преобразованием

где у_i – выходной сигнал i-го А-элемента. Будем рассматривать случай двух классов ₁ и ₂. Тогда перцептрон относит вектор х к классу ₁, если

w^Т(х) > 0,

и к классу ₂, если

w^Т(х) < 0.

(w – вектор весовых коэффициентов)

Геометрическая интерпретация: в пространстве Х векторов х задана гиперповерхность w^Т(х) = 0, делящая Х на два полупространства, и если х находится по одну сторону от этой поверхности, то х₁, иначе х₂. Каждой гиперповерхности w^Т(х) = 0 в Х соответствует гиперплоскость w^Ту = 0, проходящая через начало координат в спрямляющем пространстве Y; если y находится по одну сторону этой гиперплоскости, то х₁, а если у находится по другую сторону гиперплоскости, то х₂.

Линейные решающие функции

Основным назначением системы распознавания образов является отыскание решений о принадлежности предъявленных ей образов некоторому классу. Один из важных подходов к задаче предполагает использование решающих функций.

Общий вид линейной решающей функции задается формулой

d(у)=w^Ty=w₁y₁+w₂y₂+…+ w_ny_n+w_n+1= w₀^Тy+w_n+1 (*)

где w=(w₁,w₂,…, w_n)^Т – весовой вектор.

Общепринято во все векторы образов вводить после последней компоненты 1 и представлять соотношение (*) в виде

d(у)=w^Ty

где х=(х₁, х₂,…, х_n , 1)^Т и w=(w₁,w₂,…, w_n, w_n+1)^Т – пополненные векторы образов и весов соответственно.

Рассмотрим случаи разбиения на несколько классов w₁, w₂,…, w_М.

Случай 1. Каждый класс отделяется от всех остальных одной разделяющей поверхностью. В этом случае существует М решающих функций, обладающих свойством

где w_i=(w_i1,w_i2,…, w_in, w_i,n+1)^Т – весовой вектор, соответствующий i-ой решающей функции.

Случай 2. Каждый класс отделяется от любого другого взятого в отдельности класса «индивидуальной» разделяющей поверхностью, т.е. классы попарно разделимы. В этом случае существует М(М-1)/2 разделяющих поверхностей. Решающие функции имеют вид d_ij(у)=w_ij^Ty и обладают тем свойством, что если образ х принадлежит классу w_i, то

d_ij(у) > 0 для всех j¹i; кроме того, d_ij(у)= - d_ji(у).

Случай 3. Существует М решающих функций d_k(у)=w_k^Ty, k=1,2,…,M, таких, что если образ х принадлежит классу w_i, то

d_i(у) > d_j(у) для всех j¹i.

Эта ситуация является разновидностью случая 2, поскольку можно положить

d_ij(у)= d_i(у) - d_j(у) = (w_i - w_j)^Ty= w_ij^Ty

Лабораторная работа №3. Алгоритм обучения перцептрона (принцип подкрепления-наказания)

1. Цель работы

Целью работы является изучение алгоритма обучения перцептрона, закрепление навыков по разработке, редактированию и отладке программы, основанной на принципе «подкрепление-наказание».

2. Теоретические сведения

Решающие функции

Основным назначением системы распознавания образов является отыскание решений о принадлежности предъявленных ей образов некоторому классу. Один из важных подходов к задаче предполагает использование решающих функций.

Рассмотрим случай двух классов ₁ и ₂. Тогда две совокупности образов удобно разделить прямой.

Пусть d(у)=w^Ty=w₁y₁+w₂y₂+w₃=0 – уравнение разделяющей прямой. При этом решающая функция обладает следующим свойством:

Успех применения данной схемы распознавания образов зависит от двух факторов: 1) вида функции d(у) и 2) практической возможности определения ее коэффициентов.