
- •Введение
- •Место нейронных сетей среди других методов решения задач
- •Биологический нейрон
- •Искусственный нейрон
- •Активационные функции
- •Ограничения модели нейрона
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Обучение искусственных нейронных сетей
- •Алгоритмы обучения
- •Многослойный персептрон
- •Xijl — I-й входной сигнал j-го нейрона в слое l ;
- •Алгоритм решения задач с помощью мсп
Биологический нейрон
Для исследования НС необходимо иметь математическую модель биологического нейрона и биологической нейронной сети.
Центральная нервная система имеет клеточное строение. Её единицей является нервная клетка, нейрон. Нейрон имеет следующие основные свойства:
1. Участвует в обмене веществ и рассеивает энергию. Меняет внутреннее состояние с течением времени, реагирует на входные сигналы и формирует выходные воздействия и поэтому является активной динамической системой.
2. Имеет множество синапсов – контактов для передачи информации.
3. Нейрон взаимодействует путем обмена электрохимическими сигналами двух видов: электротоническими (с затуханием) и нервными импульсами (спайками), распространяющимися без затухания.
На рис. 1.1 показана структура пары типичных биологических нейронов.
Рис. 1.1. Биологический нейрон
Биологический нейрон содержит следующие структурные единицы:
Тело клетки — сома: содержит ядро, митохондрии (обеспечивают клетку энергией), другие органеллы, поддерживающие жизнедеятельность клетки.
Дендриты – входные волокна, собирающие информацию от других нейронов. Активность в дендритах меняется плавно. Длина их обычно не больше 1 мм.
Аксон, один или ни одного у каждой клетки, – длинное, иногда больше метра, выходное нервное волокно клетки. Импульс генерируется в аксонном холмике. Аксон обеспечивает проведение импульса и передачу воздействия на другие нейроны или мышечные волокна. Ближе к концу аксон часто ветвится.
Синапс – место контакта нервных волокон — передает возбуждение от клетки к клетке. Передача через синапс почти всегда однонаправленная. Различают пресинаптические и постсинаптические клетки — по направлению передачи импульса.
Т.о. дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства.
Нервные клетки сильно связаны между собой. Нейрон может иметь более 1000 синапсов.
Искусственный нейрон
Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рис. 1.2 представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация.
Здесь множество входных сигналов, обозначенных x1, x2,…, xn, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона.
Рис. 1.2. Модель нейрона
Каждый сигнал умножается на соответствующий вес w1, w2,…, wn, и поступает на суммирующий блок, обозначенный Σ. Каждый вес соответствует “силе” одной биологической синаптической связи. (Множество весов в совокупности обозначается вектором W.) Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход, сдвинутый на величину смещения w0:
,
который подается на вход блока, реализующего активационную функцию нейрона.
Традиционно активационная функция имеет ступенчатый вид, т.е. сигнал на выходе нейрона y появляется лишь тогда, когда суммарное входное воздействие превышает некоторое критическое значение. Существуют активационные функции и других видов.
линейная сигмоидальная радиально-симметричная
Рассмотрим более подробно некоторые виды активационных функций, получивших распространение в искусственных нейронных сетях. Для этого выход суммирующего блока будем обозначать как NET (вместо S), а выходной нейронный сигнал – как OUT = F(NET).