Искусственные нейронные сети
Искусственные нейронные сети (ИНС) строятся по принципам организации и функционирования их биологических аналогов. Они способны решать широкий круг задач распознания образов, идентификации, прогнозирования, оптимизации, управления сложными объектами. Дальнейшее повышение производительности компьютеров все в большей мере связывают с ИНС, в частности с нейрокомпьютерами (НК), основу которых составляет искусственная нейронная сеть.
Термин «нейронные сети» сформировался к середине 50-х годов XX века. Основные результаты в этой области связаны с именами У. Маккалоха, Д Хебба, Ф Розенблатта, М. Минского.
Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Они представляют собой распределенные и параллельные системы, способные к адаптивному обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим прототипом.
обознач
|
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
с |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
е |
|
|
|
|
|
|
т |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
н |
ы |
в |
|
|
|
ой ней |
ро |
с |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
х |
|
|
|
|
|
|
|
|
|
|
|
е |
т |
и |
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
д |
ные |
э |
|
|
|
|
|
|
|
Зеле |
|
|
|
|
|
||||||||
|
|
|
в |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
н |
ым |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
леме |
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
ы |
|
|
|
|
|
|
|
|
|
|
н |
т |
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
х |
|
|
|
|
|
|
|
|
|
|
|
|
ы |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
, |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
д |
н |
о |
|
|
|
|
|
|
|
|
|
|
|
ж |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
й |
э |
|
|
|
|
|
|
|
|
|
ё |
л |
т |
ы |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
л |
еме |
|
|
|
|
|
|
|
|
|
м |
— |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
нт |
|
|
|
|
|
|
|
|||||
Биологический нейрон
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ов |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
он |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
йр |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
х |
не |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ки |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ес |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ич |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ог |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ол |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ь |
би |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
яз |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
св |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
им |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
за |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами. Нервные волокна способны передавать электрические импульсы между нейронами. Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию. Он состоит из тела или сомы, и отростков нервных волокон двух типов - дендритов, по которым принимаются импульсы, и единственного аксона, по которому нейрон может передавать импульс.
Структура искусственного нейрона
|
|
|
|
|
|
|
й |
|
ю |
Нейрон |
является |
составно |
|
в |
|||||
|
|
|
|
|
|
|
|
|
|
нейронной сети. Он состоит из элементо |
|||||||||
|
|
|
|
|
|
|
|
|
), |
|
|
в: |
|
|
жителей |
(синапсов |
|||
трех |
типо |
|
|
|
|
|
|
ователя. |
|
сумматора |
|
|
|
ого преобраз |
|||||
и нелинейн |
связь |
между |
|||||||
Синапсы |
|
|
|
ляют |
|||||
осуществ |
|
|
сигнал на |
||||||
|
|
|
|
|
т входной |
||||
|
|
, умножаю |
|
|
|
|
|||
нейронами |
|
|
ее |
|
|
|
и, (вес |
||
|
|
|
|
|
силу связ |
||||
число, |
|
теризующ |
|
|
|
|
|||
харак |
|
|
|
лняет |
|
ение |
|||
|
|
|
|
|
|
слож |
|||
синапса). |
|
атор выпо |
|
|
|
||||
Сумм |
|
|
|
|
|
м |
|||
|
|
|
|
|
|
|
птически |
||
|
|
|
|
|
их по сина |
|
|
||
сигналов, поступающ |
|
и |
|
внешних |
|||||
связям |
от |
других |
|
онов, |
|
||||
|
нейр |
|
|
|
ый |
||||
входных |
|
сигналов. |
|
|
|
||||
|
|
Нелинейн |
|||||||
|
|
|
|
|
изует |
|
|
нейную |
|
|
|
атель |
реал |
|
|
|
|
||
преобразов |
|
|
мента |
- |
выхода |
||||
функцию |
одного |
|
|||||||
|
аргу |
|
|
|
|
||||
|
|
. |
|
|
|
|
|
|
|
сумматора |
|
|
|
|
|
|
|
||
Структура искусственного нейрона
Классификация нейронных сетей
Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами. В зависимости от функций, выполняемых нейронами в сети, можно выделить три их типа:
•входные нейроны
•выходные нейроны
•промежуточные нейроны
С точки зрения топологии можно выделить три основных типа нейронных сетей:
полносвязные
многослойные или слоистые
слабосвязные (с локальными связями)
Архитектура нейронных сетей
|
|
|
зных |
|
|
онных |
|
сетях |
|
В |
полносвя |
|
|
|
|
|
дной |
||
|
|
|
н передает |
свой выхо |
|||||
каждый нейро |
|
|
онам, |
|
в |
том |
|||
|
|
|
ьным |
|
|
|
|||
сигнал |
остал |
|
. |
Все |
|
|
ные |
||
числе и |
|
|
вход |
||||||
самому себе |
|
|
|
онам. |
|||||
сигналы |
|
подаются |
|
|
|
|
|||
|
всем нейр |
||||||||
|
|
|
|
|
|
|
|
т быть |
|
|
|
|
|
|
и сети могу |
|
|||
|
|
|
и сигналам |
|
|
|
|
||
Выходным |
|
|
|
|
|
алы |
|||
|
|
|
торые |
|
|
дные сигн |
|||
все |
или |
|
|
выхо |
|
|
|
||
неко |
|
|
льких |
|
|
ов |
|||
нейронов |
после |
|
неско |
|
|
|
|||
|
|
|
ирования |
сети. |
|
|
|
|
|
функцион |
|
|
|
|
|
|
|||
Полносвязная сеть
|
|
|
|
|
|
|
ь с |
|
|
|
|
|
|
ая |
сет |
|
|
|
|
|
|
ойн |
|
|
|
|
|
|
госл |
|
|
|
|
||
Мно |
|
|
|
|
|
и |
||
|
|
|
|
|
|
|
язям |
|
|
|
|
|
|
|
и св |
|
|
|
|
|
|
|
ым |
|
|
|
|
|
|
ельн |
|
|
|
||
|
ват |
|
|
|
|
|
||
едо |
|
|
|
|
|
|
|
|
посл |
|
|
|
|
|
|
|
|
В многослойных нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из Q слоев, пронумерованных слева направо.
В свою очередь, среди многослойных нейронных сетей выделяют следующие типы:
Монотонные
Сети без обратных связей
Сети с обратными связями
В слабосвязных нейронных сетях нейроны располагаются в узлах прямоугольной или гексагональной решетки. Каждый нейрон связан с четырьмя (окрестность фон Неймана), шестью (окрестность Голея) или восемью (окрестность Мура) своими ближайшими соседями.
Cлабосвязные связи
Различия между ИНС и машинами с архитектурой фон Неймана
Несмотря на весь прогресс в области искусственного интеллекта, множество проблем в этой
области |
продолжают |
истощать |
возможности |
компьютеров |
на |
|
базе |
|||||
архитектуры |
фон |
Неймана. |
Процессоры, |
выполняющие |
последовательности |
ин- |
||||||
струкций, |
не |
могут |
воспринимать |
и мыслить на уровне, сравнимом |
с |
человече- |
||||||
ским разумом. |
По |
этой |
причине |
многие |
исследователи |
обращаются |
к |
машинам |
||||
с альтернативными |
архитектурами. |
Одна |
из таких |
архитектур — |
искусственная |
|||||||
нейронная сеть (artificial neural network). |
|
|
|
|
|
|
|
|||||
Вычислительные системы, основанные на искусственных нейронных сетях, обладают рядом качеств, которые отсутствуют в машинах с архитектурой фон Неймана (но присущи мозгу человека):
Массовый параллелизм;
Распределённое представление информации и вычисления;
Способность к обучению и обобщению;
Адаптивность;
Свойство контекстуальной обработки информации;
Толерантность к ошибкам;
Низкое энергопотребление.