01.03.12 Лекция №3

Функции активации f(V) могут быть различных видов:

1. Функция единичного скачка или пороговой функции. Функция Хевисайда. Порог смешение или сдвиг.

;

2. Знаковая, сигнатурная функция.

;

3. Линейная функция.

;

4. Полулинейная функция.

;

5.Полулинейная функция с насыщением.

;

6. Треугольная функция

7.Сигмаидальная функция. Функция S-образного вида. Примерами служат логистическая функция, или сигмоидальная.

; где b-параметр наклона сигмаидальной функции, e- выходное значение в промежутке от 0 до 1.

8. Гиперболический тангенс.

9. SOFTМАХ. Для учета особенностей конкретной задачи могут быть выбраны другие функции активации. Например: Гаусова функция

Получив набор чисел на входе, нейрон выдает некоторое число “y” на выходе, т.е. нейрон реализует скалярную функцию некоторого аргумента.

Статистическая теория вероятности

Модель нейрона, представленная на Рис. 1 является детерминированной, это значит что преобразование входного сигнала в выходной точно определено для всех значений выходного сигнала. Однако в некоторых случаях, лучше использовать стохастические нейро-сетевые модели, в которых функция активация имеет вероятностную интерпретацию. В стохастической модели нейрон может находится в 2 состояниях +1 или -1. Решение о переключении состояния нейрона принимается с учетом вероятности этого события. Обозначив состояние нейрона символом “y”, а вероятность функции “V”, где “V” - индуцированное локальное поле нейрона.

Вероятность P(v) описывается сигмоидальной функцией вида ; гдеT - аналог температуры (), который используется для управления уровнем шума, а следовательно степенью не определённостью переключения. При этом необходимо заметить, что параметрT не описывает физическую температуру нейронной сети, не биологической не искусственной. Это параметр управляет термальными флуктуациями, представляющими эффект синоптического шума. В случае, когда . Стохастический нейрон, описанный выражением, принимает детерминированную форму нейрона МакКалака - Питса без включения шума.

Архитектура нейронных сетей.

Нейрон - это составная часть нейронной сети. Искусственная нейронная сеть строится из нейронов, которые связанны друг с другом. Нейронные сети могут быть реализованы в виде быстрых аппаратных устройств, и такие реализации существуют. Однако, большинство исследований выполняется с использованием программного моделирования на компьютерах. Как правило, активационные функции всех нейронов в сети являются фиксированными, а веса - параметрами сети и могут изменяться. Работа нейронной сети состоит в преобразовании входного вектора , задаваемого весами сети и выходными в вектор.

Чтобы построить нейронную сеть нужно выполнить следующие этапы:

1. Выбрать архитектуру(структуру, тип) сети.

2.Осуществить подбор весов сети(обучение сети). Задача построения нейронной сети является не тривиальной.

На этапе выбора архитектуры нейронной сети нужно решить следующие вопросы:

1. Какие нейроны будем использовать (число входов, функции активации).

2.Как следует соединить нейроны между собой.

3.Какие входы нейронов взять в качестве внешних входов сети, и какие выходы в качестве внешних выходов.

При этом не обязательно строить сеть «с нуля», существует множество нейро-сетевых архитектур, причем эффективность доказана математически. Наиболее изученные и популярные архитектуры, это многослойный пейсерптрон, нейронная сеть с общей регрессией, сети Кохонина.

В зависимости от того, какие функции выполняют нейроны в сети, выделяются 3 типа:

1) Входные нейроны - это нейроны, на которые подается входной вектор, кодирующий входное воздействие или образ внешней среды, в них обычно не производится вычислительных процедур. Иногда информация передается с входа на выход путем изменения его активации.

2) Выходные нейроны – это нейроны, выходные значения которых, представляют выход сети.

3)Промежуточные нейроны – это нейроны, которые составляют основу искусственных сетей.

Во многих моделях нейронных сетей, тип нейрона зависит от его расположения в сети. Если у нейрона имеются только выходные связи, то это входной нейрон, если наоборот выходной нейрон.

В процессе функционирования сети, когда входной вектор преобразуется в выходной, происходит некоторая переработка информации. Конкретный вид этой информации зависит не только от функций активации, но и от особенностей ее архитектурны. Существуют бинарные и аналоговые нейронные сети.

Бинарные сети оперируют с двоичными сигналами, при этом выход каждого нейрона принимает только 2 значения, логический 0 соответствующий заторможенному состоянию и логическая 1, соответствующая возбужденному состоянию. Нейронные сети бывают:

1. Статические, часто называемые сетями с прямой связью или (сетями прямого распространения).

2. Динамические или рекуррентные. Существуют три фундаментальных класса нейро-сетевых архитектур:

А) Однослойные сети прямого распространения.

Б) Многослойные сети прямого распространения.

В) Рекуррентные сети.

Топология нейронных сетей.

Нейронные сети, с точки зрения топологического раздела, можно разделить на 3 типа:

1.Полносвязанные сети.

Искусственная нейронная сеть, каждый нейрон передает свой выходной сигнал остальным нейронам и себе. Все входные сигналы передаются всем нейронам. В качестве выходных сигналов сети могут быть все или несколько выходных нейронов, после определенного количества тактов функционирования сети.

2. Многослойные сети (слоистые).

Состоят из нейронов объеденных в сети, в слое содержится совокупность нейронов с едиными выходными сигналами. При этом количество слоев и число нейронов в каждом слое может быть произвольным, и оно не связанно заранее с количеством нейронов в других слоях. Однако оно ограничено ресурсами ПК или специализированной микросхемы, на которых обычно реализуется нейронная сеть.

Если сеть состоит из Q слоев, то они нумеруются с лева направо. Внешние входные сигналы накладываются на входы первого слоя, при этом входной слой часто нумеруется как нулевой слой и суммирование, и преобразование сигналов здесь не производится.

Выходами сети являются выходные сигналы последнего слоя, кроме входного и выходного слоев в многослойной нейронной сети существует один или несколько промежуточных слоев, называемых скрытыми слоями.

Нейронная сеть со скрытыми слоями позволяет выделять глобальные связи данных за счет наличия дополнительных синоптических связей и повышения уровня взаимодействия нейронов.

3.Слабосвзяные сети.