Специальные главы математики
1. Определение персептрона и его архитектура. Задачи, решаемые с помощью персептрона. Обучение персептрона.
Перцептро́н, или персептрон (англ. perceptron от лат. perceptio — восприятие; нем. perzeptron) — математическая и компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом в 1957 году и реализованная в виде электронной машины «Марк-1» в 1960 году.
Основная математическая задача, с которой он справляется, — это линейное разделение любых нелинейных множеств. Искусственные нейронные сети (ИНС) могут рассматриваться как направленные графы с взвешенными связями, в которых искусственные нейроны являются узлами. По архитектуре связей нейронные сети могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.
В наиболее распространенном семействе нейронных сетей первого класса, называемых многослойным перcептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.
Элементарный
перцептрон состоит из элементов 3-х
типов: S-элементов, A-элементов и одного
R-элемента. S-элементы — это слой
сенсоров, или рецепторов. В физическом
воплощении они соответствуют, например,
светочувствительным клеткам сетчатки
глаза или
фоторезисторам
матрицы камеры. Каждый рецептор может
находиться в одном из двух состояний —
покоя
или возбуждения,
и только в последнем случае он передаёт
единичный сигнал в следующий слой,
ассоциативным элементам.
A-элементы
называются ассоциативными, потому что
каждому такому элементу, как правило,
соответствует целый набор (ассоциация)
S-элементов. A-элемент активизируется,
как только количество сигналов от
S-элементов на его входе превысило
некоторую величину θ.Таким образом,
если набор соответствующих S-элементов
располагается на сенсорном поле в форме
буквы «Д», A-элемент активизируется,
если достаточное количество рецепторов
сообщило о появлении «белого пятна
света» в их окрестности, то есть A-элемент
будет как бы ассоциирован с
наличием/отсутствием буквы «Д» в
некоторой области. Сигналы от возбудившихся
A-элементов, в свою очередь, передаются
в сумматор R, причём сигнал от i-го
ассоциативного элемента передаётся с
коэффициентом
.
Этот коэффициент называется весом
A—R связи. Так же как и A-элементы, R-элемент
подсчитывает сумму значений входных
сигналов, помноженных на веса (линейную
форму).
R-элемент, а вместе с ним и элементарный
перцептрон, выдаёт «1», если линейная
форма превышает порог θ, иначе на выходе
будет «−1». Математически, функцию,
реализуемую R-элементом, можно записать
так:
О
бучение
элементарного перцептрона состоит в
изменении весовых коэффициентов
связей
A—R. Веса связей S—A (которые могут
принимать значения {−1; 0; +1}) и значения
порогов A-элементов выбираются случайным
образом в самом начале и затем не
изменяются.
После
обучения перцептрон готов работать в
режиме распознавания
или обобщения.
В этом режиме перцептрону предъявляются
ранее неизвестные ему объекты, и
перцептрон должен установить, к какому
классу они принадлежат. Работа перцептрона
состоит в следующем: при предъявлении
объекта, возбудившиеся A-элементы
передают сигнал R-элементу, равный сумме
соответствующих коэффициентов
.
Если эта сумма положительна, то принимается
решение, что данный объект принадлежит
к первому классу, а если она отрицательна —
то ко второму. Важным свойством любой
нейронной сети является способность
к обучению. Процесс обучения является
процедурой настройки весов и порогов
с целью уменьшения разности между
желаемыми (целевыми) и получаемыми
векторами на выходе. Классический метод
обучения перцептрона — это метод
коррекции ошибки. Он представляет собой
такой вид обучения
с учителем, при котором вес связи не
изменяется до тех пор, пока текущая
реакция перцептрона остается правильной.
При появлении неправильной реакции вес
изменяется на единицу, а знак (+/-)
определяется противоположным от знака
ошибки. Кроме классического метода
обучения перцептрона Розенблатт также
ввёл понятие об обучении
без учителя,
при которой веса всех активных
связей
,
которые ведут к элементу
,
изменяются на одинаковую величину r, а
веса неактивных
связей за это время не изменяются.
Применение перцептронов
1 Прогнозирование и распознавание образов
2 Управление агентами
2. Многослойные персептроны и возможности их обучения. Архитектура многослойного обобщенного персептрона.
Многослойными персептронами называют нейронные сети прямого распространения. Входной сигнал в таких сетях распространяется в прямом направлении, от слоя к слою. Многослойный персептрон в общем представлении состоит из следующих элементов:
множества входных узлов, которые образуют входной слой;
одного или нескольких скрытых слоев вычислительных нейронов;
одного выходного слоя нейронов.
Многослойный персептрон представляет собой обобщение однослойного персептрона Розенблатта. Количество входных и выходных элементов в многослойном персептроне определяется условиями задачи. Сомнения могут возникнуть в отношении того, какие входные значения использовать, а какие нет. Вопрос о том, сколько использовать промежуточных слоев и элементов в них, пока совершенно неясен. В качестве начального приближения можно взять один промежуточный слой, а число элементов в нем положить равным полусумме числа входных и выходных элементов.
Многослойные персептроны успешно применяются для решения разнообразных сложных задач и имеют следующих три отличительных признака.
Свойство 1. Каждый нейрон сети имеет нелинейную функцию активации
Важно подчеркнуть, что такая нелинейная функция должна быть гладкой (т.е. всюду дифференцируемой), в отличие от жесткой пороговой функции, используемой в персептроне Розенблатта. Наличие нелинейности играет очень важную роль, так как в противном случае отображение «вход-выход» сети можно свести к обычному однослойному персептрону.
Свойство 2. Несколько скрытых слоев
Многослойный персептрон содержит один или несколько слоев скрытых нейронов, не являющихся частью входа или выхода сети. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входного образа.
Свойство 3. Высокая связность
Многослойный персептрон обладает высокой степенью связности, реализуемой посредством синаптических соединений. Изменение уровня связности сети требует изменения множества синаптических соединений или их весовых коэффициентов.