Модели нейронных сетей

На базе биологических предпосылок развиты электронные модели ИНС. Одна из первых - модель Мак-Каллока-Питтса, в которой система биологических нейронов моделируется набором бинарных (т. е. имеющих только два состояния) объектов, связанных друг с другом и имеющих некоторый пороговый уровень возбуждения, при достижении которого состояние нейрона изменяется.

Итак, каждый нейрон имеет два состояния, характеризующихся тем, что выход нейрона К принимает одно из значений К или К', которые часто равны просто О или 1.

Схематическое изображение такого нейрона показано на рис. 1. Выходной канал нейрона через аксон подается на синапс и через, синаптическую связь (которая различается для разных пар нейронов) поступает через входные отростки нейрона (дендриты) на вход j-го нейрона. Образуется глобальная петля обратной связи, благодаря чему система нейронов приобретает нетривиальное нелинейное поведение.

Входной сигнал каждого нейрона состоит из внешнего по отношению к нейронной сети сигнала I. и взвешенного с синаптическими весами сигнала Т, поступающего от остальных нейронов.

Общий входной сигнал, таким образом, имеет вид:

Эволюция нейронной сети происходит по следующим правилам. Каждый нейрон время от времени оценивает свой входной сигнал по отношению к пороговому уровню после чего либо оставляет свой выходной сигнал без изменений, либо изменяет его, если суммарный входной сигнал превышает порог.

Таким образом, алгоритм в модели Мак-Каллока-Питтса является асинхронным. Можно указать по меньшей мере два существенных отличия реальной нейронной сети от модельной.

Во-первых, реальный нейрон должен обладать непрерывно меняющимся выходным сигналом в зависимости от входного.

Во-вторых, распространение любого сигнала в сети из-за наличия емкостей происходит с запаздыванием, так что этот процесс должен описываться не дискретным алгоритмом, а дифференциальным уравнением с источником шума вследствие детектирования.

Поэтому более принятой формой описания эволюции сети является нелинейная функция не ступенчатого, а сигмоидного типа (рис. 2).

Другая модель - Д. О. Хебба -заложила основы синаптической теории памяти и обучения, т. е. понимания свойств нейронных сетей, которые и обуславливают многообразие их возможностей, в том числе и возникновение интеллекта.

Хебб сформулировал свое правило обучения следующим образом: “Если аксон клетки А достаточно близок к клетке В, чтобы возбуждать ее, и если он повторно или настойчиво принимает участие в ее срабатывании, то в одной из этих клеток или в обеих происходит некоторый процесс метаболического изменения, так что эффективность клетки А как одной из клеток, вызывающих срабатывание клетки В, увеличивается.

Правило Хебба, меняя синаптические связи, обеспечивает тренировку сети для работы в качестве ассоциатора (классификатора) образов. Многократное предъявление на вход стимулирующего образа должно побуждать сеть генерировать другой образ (признак), ассоциируемый с первым. И наоборот, предъявление сети фрагмента образа, в соответствии с правилом Хебба, вызывает

генерацию полного образа. По сути это основная идея адресации по содержанию и ассоциативной памяти.