Александров Ю.И., Анохин К.В. - Нейрон. Обработка сигналов. Пластичность. Моделирование_ Фундаментальное руководство (2008)

Глава 16. ПРОСТЫЕ ФОРМАЛЬНЫЕ МОДЕЛИ НЕЙРОНА

Идея простой формальной модели нейрона была впервые сформулирована в работе У. С. Мак-Каллока и У. Питтса. В сетях, построенных на основе нейрона Мак-Каллока-Питтса, оказалась возможной реализация всех основных логических функций, что определило большую значимость этой модели для построения искусственных нейронных сетей разного назначения. Позднейшими исследователями был выявлен ряд недостатков модели нейрона Мак-Каллока-Пит- тса, таких, как отсутствие в ней памяти и основанного на ней обучения, отсутствие модуляции потенциалов и других. Значительная часть этих недостатков была устранена в рамках многочисленных модификаций нейрона Мак-Каллока и Питтса, образовавших целое семейство простых формальных моделей нейрона. В числе моделей этого класса могут быть названы сигмоидальный нейрон, нейрон типа «Адалайн», нейрон типа WTA, нейрон с квадратичным сумматором, Сигма-Пи нейрон, стохастический нейрон, кубический нейрон и мн. др. В то же время все эти модели оставались весьма простыми, в малой степени воспроизводя процедуры обработки сигналов живым нейроном. Как представляется, в силу чрезмерной упрощенности всему классу простых формальных моделей остался присущ ряд недостатков, снижающих возможности данных моделей нейронов как элементов искусственных нейросетевых интеллектуальных систем. К таким недостаткам можно отнести отсутствие в них моделирования каскада явлений, связанных с постепенным формированием следа (фаз) памяти, отсутствие моделирования генетического регулирования развития клетки и ряд других. Попыткой приблизиться к биологически более правдоподобному моделированию стала модель нейрона Хэбба, хотя ее также приходится отнести к классу простых формальных моделей.

16.1. Нейрон Мак-Каллока и Питтса

Исторически первой моделью обработки сигналов в нейроне стала модель Мак-Каллока и Питтса (1943 г.). Согласно этой модели, нейрон получает входные сигналы (õ1, õ2,…xn) от других нейронов или из внешней среды. Нейрон может иметь теоретически неограниченно большое число таких входов. В местах подразумеваемых синапсов каждая связь имеет свой индивидуальный фиксированный или изменяющийся, перенастраивающийся синаптический вес (w1, w2,…wn), который используется

490

в качестве коэффициента преобразования значения входного сигнала. Все полученные сигналы, которые могут быть как положительными (активирующими), так и отрицательными (тормозными), с учетом их индивидуальных весов линейно суммируются в центральном сумматоре (соме) такого нейрона. Как известно, реальный нейрон генерирует результирующий потенциал действия только в том случае, если сумма входных сигналов превысит некоторый пороговый уровень. В простых формальных моделях нейрона также присутствует пороговый элемент (x0), который увеличи- вает или уменьшает входной сигнал, подаваемый в дальнейшем на функцию активации. Таким образом, порог становится подобным одному из учитываемых входов нейрона. Обычно порог неизменен и, как правило, представляется как некоторое отрицательное число. В ряде производных моделей порог может быть и переменным. После суммирования сигналов и порога значение полученной суммы (u) преобразуется с помощью функции активации (ϕ (u)) данного нейрона, в результате чего рассчи- тывается значение выходного сигнала нейрона (y). Полученное после преобразования значение выходного сигнала через выходные связи (аксоны) нейрона подается на входы других нейронов или во внешнюю среду (рис. 16.1). Количество выходов теоретически неограниченно, но значение выходного сигнала на каждом выходе, как правило, одинаково. Если в сети последовательно объединены несколько нейронов, то в нейроне, следующем за рассмотренным, все повторяется1.

Простая формальная модель нейрона представлена на рисунке.

Ðèñ. 16.1. Простая формальная модель нейрона

1 В сети могут последовательно стыковаться и нейроны различных типов, в этом случае каждый нейрон будет обрабатывать сигнал с учетом особенностей своей модели.

491

Математически такой нейрон представляет собой взвешенный сумматор, единственное значение выхода которого определяется через его входы и матрицу весов. Математическая простая формальная модель нейрона может быть представлена в виде функции:

ãäå xi è wi — соответственно сигналы на входах нейрона и веса входов, x0 — значение порога нейрона и соответствующий ему вес w0. Обучение подобного нейрона состоит в таком подборе весов, чтобы выходной сигнал нейрона совпадал с заданным значением. Эту модель нейрона в литературе обычно называют нейроном Мак-Каллока и Питтса, отдавая дань уважения прорывной работе двух ученых (Хайкин С., 2006, с. 45).

В модели Мак-Каллока и Питтса использовалась одноступенчатая функция активации, в соответствии с которой нейрон мог генерировать выходной сигнал только по принципу «все или ничего» с определенным значением, например, со значением 1 при превышении порога нейрона или не генерировать сигнал, выдавать значение 0 или –1, если сумма входных сигналов не превысила порог (рис. 16.2). Позднее стали применяться другие линейные и нелинейные функции активации, что привело к формированию модификаций простых формальных моделей нейрона (рис. 16.3).

Следует отметить, что приведенная схема несколько модифицирует непосредственные высказывания Мак-Каллока и Питтса. Например, авторы не говорят в своей работе о синаптических весах, предполагая, по сути, прямую суммацию входных сигналов: активирующего (+1) и тор-

492

мозного (-1), а также допуская отсутствие сигнала на входе (0). Но авторы предполагают понижение и повышение порога, а также указывают на важное значение остаточных потенциалов в нейроне, когда пишут: «Мы рассматриваем облегчение (фасилитацию) и утомление как зависящее от непрерывных изменений порога, связанных с электрическими и химическими переменными, такими, как остаточные потенциалы и концентрации ионов» (Мак-Каллок У., Питтс В., 2001, с. 7). Кроме того, они высказывают блестящее предположение о модификации синапсов: «Предположим, что некоторые окончания аксонов не могут сначала возбуждать следующий нейрон, но если в какой-то момент времени нейрон возбуждается одновременно с этими окончаниями, то они превращаются в обычные синапсы, способные в дальнейшем возбуждать нейрон» (Мак-Каллок У., Питтс В., 2001, с. 15). В этом высказывании мы видим и описание механизма обучения, который позднее стал более известен как один из принципов Хэбба, и предугадание формирования пропускной способности синаптических мембран в результате синтеза новых рецепторов под влиянием прохождения сигнала (обучения).

Строго говоря, Мак-Калок и Питтс в основу своей модели нейрона положили следующие допущения:

1.Активность нейрона удовлетворяет принципу «все или ничего».

2.Возбуждению нейрона должен предшествовать латентный период накопления возбуждений определенного фиксированного числа синапсов, причем это число не зависит от предыдущей активности и от расположения синапсов на нейроне.

3.Единственным запаздыванием в нервной системе, имеющим зна- чение, является синаптическая задержка.

4.Активность какого-либо тормозящего синапса абсолютно исклю- чает возбуждение данного нейрона в рассматриваемый период времени (правда, авторы оговорили, что возбуждение тормозящего синапса не исключает абсолютно возбуждения нейрона, но лишь увеличивает его порог, так что для возбуждения нейрона требуется одновременное возбуждение большего числа возбуждающих синапсов).

5.С течением времени структура сети не изменяется (Мак-Каллок У., Питтс В., 2001, с. 8).

Мак-Каллок и Питтс подчеркнули, что не смешивают предложенную ими формальную модель нейрона с реальными процессами в живом нейроне. Более того, они отмечают важные особенности биологи- ческого нейрона, которые оставляют за рамками своей модели. Так, авторы отмечают две существующие в тот период трудности в интер-

493

претации функционирования нейрона: во-первых, это свойственные нейрону явления фасилитации и утомления, а во-вторых, это способность нейрона к обучению, «при котором одновременные активности в предшествующее время изменили сеть так, что стимул, прежде бывший недостаточным, становится теперь достаточным». Выходом из этих трудностей, по мнению исследователей, являлась та возможность, при которой «мы можем сети, подверженные обоим изменениям, заменить эквивалентными фиктивными сетями, составленными из нейронов с неизменяемыми связями и порогами». То есть Мак-Каллок и Питтс решили, что есть возможность представить значительно более сложный реальный биологический нейрон как сеть из большего числа более простых формальных нейронов.

16.2. Возможности простой формальной модели нейрона

Мак-Каллок и Питтс справедливо указали, что в сети, состоящей из необходимого числа определенным образом соединенных и настроенных простых формальных нейронов, можно реализовать любое логи- ческое суждение и любое сочетание этих суждений (рис. 16.4). В своем выводе они опирались на установленную возможность реализации такими сетями основных логических функций. Этим качеством нейроны Мак-Каллока и Питтса во многом напоминали электронные пороговые элементы, на основе которых позднее были построены компьютеры.

Мак-Каллок и Питтс впервые указали на огромное значение нейронных сетей, в т.ч. искусственных, для решения интеллектуальных задач. В этом они были, безусловно, правы: нейросети действительно являются наиболее эффективным когнитивным инструментом, так как позволяют сформировать любые наборы объектов и обеспечить любое сочетание их влияний друг на друга. Как следствие, любая интеллектуальная задача решается сетевыми средствами. Кроме того, любые проблемы, возникающие при разработке сетевых архитектур, решаются сетевыми средствами. Интеллект — это сеть. Разработанная Мак-Каллоком и Питтсом модель нейрона и ее модификации послужили основой для создания большого числа нейросетевых архитектур, нашедших свое применение в решении большого спектра научных и народнохозяйственных задач.

Все эти замечания могут считаться верными, но все же при одном условии. И сам моделируемый нейрон должен стать существенно более усложненным. В модели нейрона Мак-Каллока и Питтса позднейшими исследователями был выявлен ряд недостатков. В первую оче- редь к их числу были отнесены:

494

Ðèñ. 16.4. Реализация основных логических функций на простой формальной модели Мак-Каллока и Питтса. В кружках показано значение порогов нейронов. Рядом со стрелками показано значение входного сигнала с учетом его веса (количество медиатора). Красным обозначены активные положительные связи, синим — активные тормозящие (с отрицательными значениями входного сигнала), черным — отсутствие активности положительной связи, зеленым — отсутствие активности тормозящей связи. Расположенные слева нейроны активируются на такт раньше, чем те, что расположены правее.

495

—отсутствие появления и сохранения изменений нейрона под влиянием входной стимуляции. По сути дела, в модели Мак-Каллока и Питтса отсутствовало такое важнейшее свойство нейрона, как память

èоснованное на ней обучение, в ней также отсутствовали любые виды пластичности нейронов и нейросетей;

—отсутствие каких-либо видов модуляции потенциалов по их величине, частоте или продолжительности. Жесткая пороговая логика приводила к невозможности решения ряда задач, например, часто не позволяла оптимизировать точность классификации образов;

—отсутствие математических алгоритмов оптимального подбора

весов.

16.3. Модификации простой формальной модели нейрона

Необходимость справиться с недостатками, присущими простой формальной модели нейрона, привела к появлению ряда ее модификаций (многие эти модификации вовсе не становились биологически правдоподобными). Основными модификациями нейрона Мак-Кал- лока и Питтса стали следующие простые формальные модели ней-

ронов.

Сигмоидальный нейрон. Структура сигмоидального нейрона подобна модели Мак-Каллока-Питтса, но функция активации в нем является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции (рис 16.5 и 16.6). Униполярная функция обычно представляется формулой:

Биполярная функция имеет вид:

Важным свойством сигмоидальной функции является ее дифференцируемость. Применение непрерывной функции активации позволяет использовать при обучении градиентные методы оптимизации. Помимо сигмоидальной, в качестве функции активации в простой формальной модели нейрона-сумматора могут применяться и другие функции, такие, как логистическая, гиперболический тангенс, радиально-базисная функция передачи, экспонента, тригонометрический синус, модульная функция и другие (см.: Дополнительная литература, 1).

496

Ðèñ. 16.5. Сигмоидальная униполярная функция активации.

Ðèñ. 16.6. Сигмоидальная биполярная функция активации.

Нейрон типа «Адалайн». Модель нейрона «Адалайн» (от ADAptive LInear Neuron — адаптивный линейный нейрон, в ряде переводов обозначен как «Адалин») была предложена Бернардом Уидроу и М. Е. Хофом в работе 1960 г. (Уидроу Б., Хофф М. Е., 2001, с. 58-73). Основной сутью этой модели стала разработка итеративного метода для нахождения наилучших весов связей.

Входные и, соответственно, выходной сигналы в модели нейрона «Адалайн» могут принимать значение +1 и -1. Сумматор формирует линейную комбинацию входных сигналов. Уровень порога определялся установкой а0, вход которой постоянно связан с источником +1. При изменении а0 меняется постоянная, добавляемая к линейной комбина-

497

ции входных сигналов. Веса при этом соответствовали коэффициентам усиления и могли принимать как положительные, так и отрицательные значения (Галушкин А. И., 2000, с. 95-96). Значения коэффициентов усиления устанавливались в процессе обучения с помощью включенного в модель адаптивного вычислительного модуля — путем адаптивного подбора, который осуществляется в процессе минимизации квадратичной ошибки, определяемой как:

С учетом дифференцируемости целевой функции в данном случае может быть применен алгоритм градиентного обучения (см.: Дополнительная литература, 2).

Нейрон «Адалайн» стал, по сути, первой динамической моделью

постоянно изменяющегося нейрона.

Нейрон типа WTA. Нейрон типа WTA (от Winner Takes All — «Победитель получает все») имеет входной модуль в виде адаптивного сумматора. Выходной сигнал i-го сумматора определяется как:

По результатам сравнения сигналов ui, I = 1,2,…,n отдельных ней-

ронов победителем признается нейрон, у которого ui оказался наибольшим. Нейрон-победитель имеет выходной сигнал +1, а проигравшие — 0. Для обучения нейронов WTA не требуется внешний учи- тель. Перед началом работы системы весовые коэффициенты wij устанавливаются случайным образом, нормализуясь относительно 1 по формуле:

wij ← wij / (w2i1+ w2i2+… w2in)1/2.

Победитель этапа определяется после подачи входного вектора x, компоненты которого нормализованы как:

xij ← xij / (x2i1+ x2i2+… x2in)1/2.

Победитель переходит в состояние 1, что позволяет произвести уточ- нение весов его входных линий wij по правилу:

wij (t+1) = wij (t)+α[x – wij (t)]

Проигравшие нейроны формируют на своих выходах состояние 0, что прекращает процесс уточнения их весовых коэффициентов. Вы-

498

ходной сигнал i-го нейрона может быть описан векторным отношением ui = wTi X = ||wi||||x||cosϕi.

Поскольку ||wi ||= ||x ||= 1, значение ui определяется углом между векторами x è wi,ui = cosϕi. Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обуча- ющему вектору x. Соответственно результатом победы нейрона становится его обучение на основе приближения значений весовых коэффициентов к значению текущего обучающего вектора x.

Сети, построенные на основе нейронов WTA, являются сетями с конкуренцией между нейронами. Конкуренция обеспечивает самоорганизацию процесса обучения, при которой отпадает потребность во внешнем учителе. В результате уточнения весов при предъявлении группы близких по значениям входных векторов победителем оказывается один и тот же нейрон (см.: Дополнительная литература, 3).

Помимо названных могут быть упомянуты такие модификации простой формальной модели, как: Паде-нейрон (вычисляет произвольную дробно-линейную функцию вектора x и может использоваться как обобщение нейрона типа «адалайн» в тех случаях, когда линейных функций

становится недостаточно, в частности, в задачах интерполяции эмпири- ческих зависимостей); Нейрон с квадратичным сумматором (может

вычислять произвольный полином второго порядка от вектора входных сигналов, являясь наилучшим классификатором для многомерных нормальных распределений); Сигма-Пи нейрон (является обобщением нейрона с линейной и квадратичной функциями на случай представления

функции активации u полиномом степени N, ãäå N — число входов нейрона); Стохастический нейрон (в котором значение выходного сигна-

ла нейрона зависит не только от взвешенной суммы входных сигналов, но и от некоторой случайной переменной, значения которой выбираются при каждой реализации из интервала от 0 до 1. В стохастической модели выходной сигнал принимает значения +1 и –1 с некоторой вероятностью).

Еще одной моделью нейрона с большими возможностями (хотя и не биологически правдоподобной) стал так называемый кубический нейрон, который обучается путем изменения содержимого ячейки его памяти. Алгоритм обучения строит так называемое разбиение Вороного, при котором значение в ячейке определяется значением в ближайшем центре, а ячейки, равноудаленные от центров, остаются установленными в ноль. Кубические нейроны допускают большую функциональность и позволяют решать те же задачи при меньшем количестве модулей (см.: Дополнительная литература, 3).

499