5. Математическая модель персептрона Розенблатта. Обучение персептрона Розенблатта.

Рассмотрим математическую модель персептрона:

1. В рецепторном поле образуется сигнал, соответству­ющий внешнему раздражителю, который изображается некоторым вектором х.Розенблатт отмечает, что каждое нервное окончание передает достаточно простой сигнал — либо посылает импульс, либо не посылает его. Это означа­ет, что векторхбинарный, т. е. его координаты могут принимать только два значения: 0 и 1.

2. Набор импульсов распространяется до тех пор, пока с помощью нейронов второго слоя не будет преобразован в новый набор импульсов (бинарный вектор xпреобразуется в бинарный векторy).Розенблатт уточняет характер пре­образованийу =f(x):

а) преобразование осуществляется пороговыми элемен­тами;

б) входы преобразующих пороговых элементов соеди­нены с рецепторами случайно.

3. Считается, что персептрон относит входной вектор к p-му понятию, если возбуждаетсяp-й реагирующий нейрон и не возбуждаются другие реагирующие нейроны. Фор­мально это означает, что для векторавы­полняется система неравенств:

В этих неравенствах —коэффициенты усиле­нияt-го реагирующего нейрона.

4. Формирование понятий в схеме Розенблатта сводится к образованию коэффициентов (весов) каждого из элемен­тов R.Процедура построения весов элементовRтакова.

Пусть к данному моменту существуют некоторые веса элементов Rивесар-го элемента.В момент временидля классификации на вход персептрона посту­пает сигнал, описываемый вектором. Векторможет либо соответствовать понятиюp,либо не соответствовать ему. Рассмотрим оба этих случая.

Случай первый.Векторхсоответствует по­нятиюр.Тогда правильной реакцией элементана сиг­налхдолжно быть возбуждение, т. е. должно выполнять­ся неравенство

.

Если веса элемента обеспечивают правильную реак­цию на векторx, то они не меняются. Если же веса не обес­печивают правильной реакции элемента,т. е. они тако­вы, что

то веса элемента изменяются по правилу

Случай второй.Векторхне соответствует по­нятиюр.Тогда элементне должен возбудиться, т. е. должно выполниться неравенство

Если веса элемента обеспечивают правильную реак­цию этого элемента на векторх,то они не меняются. Если же веса элементане обеспечивают правильной реакции, т.е.

то веса изменяются по правилу

При обучении аналогично меняются веса всех элементов Rперсептрона.

Розенблатт надеялся, что его персептрон моделирует существенные черты человеческого восприятия, в осо­бенности восприятия зрительных образов. Он полагал, что персептрон легко можно будет обучить узнаванию одного и того же изображения независимо от масштаба изображе­ния, существенных сдвигов его в рецепторном поле и дру­гих преобразований, при которых человек относит изобра­жение к одному и тому же понятию. Иными словами, пред­полагалось, что персептрон будет узнавать предметы инвариантно по отношению к определенным группам преобразований.

В действительности же теоретические и эксперименталь­ные исследования персептрона Ф. Розенблатта показали его неспособность к такому обобщению.

Последовали всевозможные усложнения схемы пер­септрона. Строились персептроны с большим числом ней­ронных слоев, допускалась настройка коэффициентов уси­ления не только на верхнем слое, но и на промежуточных уровнях, предлагалось вводить перекрестные и обратные связи.

Теоретическое исследование таких сложных персептронных схем чрезвычайно затруднительно. На практике же при распознавании зрительных образов эти модели ока­зались малоэффективными, в конце концов, от них пришлось отказаться и пойти другим путем.

Основная идея нового направления состоит в том, что­бы, опираясь на известные свойства зрительных образов, найти такую систему признаков или, общее, такой язык описания изображения, которые уже сами по себе обеспе­чивают инвариантность по отношению к требуемым преоб­разованиям. Таким образом, при построении обучающего­ся устройства закладываются априорные сведения отно­сительно того, по каким именно преобразованиям должна достигаться инвариантность.

Если предположить, что физиологическая модель чело­веческого восприятия действительно аналогична персептрону, то следует допустить, что связи преобразующих 4-элементов с рецепторами (а вероятнее, нескольких слоев таких элементов) отнюдь неслучайны, а построены именно так,чтобы обеспечить новое описание изображения, содержащее уже требуемые инварианты. Математически это означает, что преобразование

таково, что среди координат вектора уесть такие, которые не меняются при определенных преобразованиях век­торах.

Возможно, что человек вовсе и не учится находить эти инварианты. Способность использовать их дана ему от рождения и заложена в «схеме» зрительного анализатора, возникшего в процессе эволюции. Во всяком случае экспе­рименты с персептронами, где в процессе обучения выби­ралось и отображение ,не доказали способности персептрона к выработке такого рода инвариантов.

Поэтому, оставляя в стороне вопрос о том, как устроено отображение, будем рассматривать более общую схему персептрона. Будем считать, что дано некоторое преобра­зование или, в координатной форме,

.

Здесь х —входной вектор, соответствующий исходному описанию объекта. Преобразованиеставит ему в соответствие некоторое новое описаниеу.Это преобразование выбирается до начала обучения и может быть построено на основании известных сведений о природе данной задачи распознавания.

Координаты вектора утеперь в общем случае — дейст­вительные числа, не обязательно 0 или 1.

Для простоты будем считать, что различаются всего два понятия. Тогда персептрон отнесет вектор х кпервому понятию, если выполнится неравенство

(8.2)

а в противном случае — ко второму.

Такая схема имеет простую геометрическую интерпре­тацию: в пространстве Хзадана гиперповерхность

(8.3)

которая делит пространство на два полупространства. Счи­тается, что если вектор хнаходится по одну сторону от по­верхности (это значит, что для него выполняется неравен­ство (8.2)), то он соответст­вует первому понятию, если же по другую от нее сторону, то второму. Та­кие гиперповерхности на­зываются разделяющими (рис. 8.2).

Рис. 8.2.

Для образования ново­го понятия надо построить соответствующую разделя­ющую гиперповерхность. Каждой гиперповерхности (8.3) пространства Хв пространствеYс координатамисоответствует гиперплоскость

(8.4)

Введение пространства Yпозволяет заменять рассмот­рение разделяющих гиперповерхностей (8.3) разделяющи­ми гиперплоскостями (8.4). Поэтому пространство векто­ровYполучило название спрямляющего. В спрямляющем пространстве изучается следующая схема. Каждому объ­екту ставится в соответствие вектор. Этот вектор относится к первому классу, если он лежит по одну сторону от разделяющей гиперплоскости

,

и ко второму, если по другую.