Нейронные сети – это одно из направлений исследований в области искусственного интеллекта, основанное на попытках воспроизвести нервную систему человека. А именно: способность нервной системы обучаться и исправлять ошибки, что должно позволить смоделировать, хотя и достаточно грубо, работу человеческого мозга.

Нейронные сети в искусственном интеллекте – это упрощенные модели биологических нейронных сетей. На сегодняшний день нейронные сети являются одним из приоритетных направлений исследований в области искусственного интеллекта.

Иску́сственная нейро́нная се́ть (ИНС) — математическая модель, а также её программная или аппаратная реализация, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.

Компьютерная модель ветвистой архитектуры дендритов пирамидальных нейронов.

ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.

Схема простой нейросети. Зелёным цветом обозначены входные нейроны, голубым — скрытые нейроны, жёлтым — выходной нейрон

Иску́сственный нейро́н (математический нейрон Маккалока —Питтса^[en], формальный нейрон^[1]) — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации^[2] или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. 

Схема искусственного нейрона 1.Нейроны, выходные сигналы которых поступают на вход данному 2.Сумматор входных сигналов 3.Вычислитель передаточной функции 4.Нейроны, на входы которых подаётся выходной сигнал данного 5. — веса входных сигналов

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искаженных данных .

Биологический прототип нейрона Первой попыткой создания и исследования искусственных нейронных сетей считается работа Дж. Маккалока (J. McCulloch) и У. Питтса (W. Pitts) «Логическое исчисление идей, относящихся к нервной деятельности» (1943 г.), в которой были сформулированы основные принципы построения искусственных нейронов и нейронных сетей. И хотя эта работа была лишь первым этапом, многие идеи, описанные в ней, остаются актуальными и на сегодняшний день.  Искусственные нейронные сети индуцированы биологией, потому что они состоят из элементов, функциональные возможности которых аналогичны большинству функций биологического нейрона. Эти элементы можно организовать таким образом, который может соответствовать анатомии мозга, и они демонстрируют большое количество свойств, которые присущие мозгу. Например, они могут учиться на основе опыта, могут обобщать предыдущие прецеденты на новые случаи и выявлять существенные особенности из входных данных, которые содержат избыточную информацию.

Существуют два подхода к созданию искусственных нейронных сетей (НС).Информационный подход: безразлично, какие механизмы лежат в основе работы искусственных нейронных сетей, важно лишь, чтобы при решении задач информационные процессы в НС были подобны биологическим. Биологический: при моделировании важно полное биоподобие, и для этого необходимо детально изучать работу биологического нейрона.

Распознавание образов и классификация

В качестве образов могут выступать различные по своей природе объекты: символы текста, изображения, образцы звуков и т. д. При обучении сети предлагаются различные образцы образов с указанием того, к какому классу они относятся. Образец, как правило, представляется как вектор значений признаков. При этом совокупность всех признаков должна однозначно определять класс, к которому относится образец. В случае, если признаков недостаточно, сеть может соотнести один и тот же образец с несколькими классами, что неверно. По окончании обучения сети ей можно предъявлять неизвестные ранее образы и получать ответ о принадлежности к определённому классу.

Топология такой сети характеризуется тем, что количество нейронов в выходном слое, как правило, равно количеству определяемых классов. При этом устанавливается соответствие между выходом нейронной сети и классом, который он представляет. Когда сети предъявляется некий образ, на одном из её выходов должен появиться признак того, что образ принадлежит этому классу. В то же время на других выходах должен быть признак того, что образ данному классу не принадлежит. Если на двух или более выходах есть признак принадлежности к классу, считается, что сеть «не уверена» в своём ответе.

Нейронная сеть Хопфилда и ее применение.

Возрождение интереса к нейронным сетям связано с работой Хопфилда (1982 г.). Эта работа пролила свет на то обстоятельство, что заимствованные из природы сети из нейроноподобных элементов могут быть использованы для вычислительных целей. Исследователи из многих областей знания получили стимул для дальнейших исследований этих сетей; преследуя при этом двоякую цель: лучшее понимание того, как работает мозг, применить мозгоподобные свойства этих сетей для решения проблем, которые не поддаются решению традиционными методами.

Сеть Хопфилда

Структурная схема сети Хопфилда представлена на рисунке. Сеть состоит из единственного слоя нейронов, число которых одновременно равно количеству входов и количеству выходов. Каждый нейрон связан синапсами остальными нейронами и имеет один вход. Выходные сигналы формируются как обычно на аксонах.

Рисунок 1. Сеть Хопфилда

Сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (обратная связь). Рекуррентная сеть Хопфилда «фильтрует» входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи компрессии данных и построения ассоциативной памяти.

Сети, которые работают как системы обратной связи, называются “рекуррентными сетями”. Каждая прямая операция сети называется итерацией. Рекуррентные сети, подобно любым другим нелинейным динамическим системам, способны проявлять целое разнообразие различных поведений. В частности, один возможный образец поведения – это то, что система может быть устойчивой, т.е. она может сходиться к единственной фиксированной (неподвижной) точке. Когда неподвижная точка является входом в такую динамическую систему, то на выходе будем иметь ту же самую точку. Таким образом система остается зафиксированной в том же самом состоянии. Возможны периодические циклы или хаотическое поведение.

Было показано, что сети Хопфилда устойчивы. В общем случай может быть более одной фиксированной точки. То, к такой фиксированной точке будет сходиться сеть, зависит от исходной точки, выбранной для начальной итерации.

Неподвижные точки называются аттракторами. Множество точек (векторов), которые притягиваются к определенному аттрактору в процессе итераций сети, называется “областью притяжения” этого аттрактора. Множество неподвижных точек сети Хопфилда – это ее память. В этом случае сеть может действовать как ассоциативная память. Те входные векторы, которые попадают в сферу притяжения отдельного аттрактора, являются связанными (ассоциированными) с ним.

Например, аттрактор может быть некоторым желаемым образом. Область притяжения может состоять из зашумленных или неполных версий этого образа. Есть надежда, что образы, которые смутно напоминают желаемый образ будут вспомнены сетью как ассоциированные с данным образом.

Задача ассоциативной памяти, решаемая с помощью данной сети, обычно выглядит следующим образом – есть некоторый набор двоичных сигналов, которые считаются эталонными. Сеть должна уметь из произвольного входного сигнала выделить тот эталонный образец, который наиболее похож на поданный сигнал или же выдать сообщение о том, что поданный сигнал ни с чем не ассоциируется. Входной сигнал, в общем случае, может быть описан вектором  .   - число нейронов в сети и размерность входных и выходных векторов. Каждый элемент вектора равен либо +1, либо -1.

В отличие от многих нейронных сетей, работающих до получения ответа через определённое количество тактов, сети Хопфилда работают до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ

Нейронная сеть Хопфилда – это пример сети, которую можно определить как динамическую систему с ОС, у которой выход одной полностью прямой операции служит входом следующей операции сети, как показано на рис.1

Рис 1. Бинарная сеть Хопфилда.