5. Понятие нейрона

Нейрон – это элемент, вычисляющий взвешенную сумму входных сигналов, которая затем обрабатывается функцией активации. Взвешенная сумма называется потенциалом нейрона: V, N – количество входов, x – входы нейрога, w – вес связи нейрона с i-м входом.

x_i – входные сигналы;

W_i – веса связей;

n – размерность входного пространства;

V – потенциал нейрона (состояние).

Выход нейрона есть функция его состояния:

y = f(s)

Потенциал нейрона сравнивается с пороговой величиной W₀ и выходной сигнал принимает значение функции активации f(V)

Вес связи может быть как положительным, так и отрицательным. Функция активации позволяет сравнить потенциал с пороговой величиной w0 и формируется выходной сигнал. Величину порога можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале: V, W – вектор весов связи, X – вектор входных сигналов.

6. Виды искусственных нейронов

Различают следующие модели нейронов в зависимости от способа преобразования сигнала и характера функции активации. По виду выходного сигнала различают:

1. Детерминированные нейроны, в которых выходное значение определяется порогом.

2. Вероятностные нейроны– выходной сигнал в момент времени t является случайной функцией от потенциала нейрона (V) и состояния нейрона в момент времени S(t-1).

По способу передачи входного сигнала на выход:

1. Статические нейроны – выдают результат мгновенно.

2. Динамические – нейроны, у которых вводится задержка на выдачу сигнала на определённый период времени t. За этот интервал нейрон “думает”.

По потенциалу нейроны делят:

1. Без насыщения, нейрон может принимать бесконечное множество значений.

2. С насыщением (никогда не превысит единицу).

8 Виды архитектуры нейронной сети.

Нейронные сети (НС) классифицируют по различным признакам.

1. По способам распространения сигналов.

Прямого распространения. Рекуррентные (динамические). С перекрестными связями. С латеральным связями.

2. По способу организации узлов

• Однослойные сети: полносвязные (обычно все нейроны имеют одинаковые функции активации) и регулярные.

• Многослойные

• Ядерные (каскадные).

В полносвязных сетях каждый нейрон связан с каждым нейроном.

В регулярных сетях нейроны соединяются по определённому топологическому принципу.

Могут быть гексагональные сети. При соединении выходов со входами получают архитектуры цилиндра и тора.

Ядерные сети являются композицией различных моделей сетей, используемых в качестве элементов сети.

В сетях прямого распространения нет обратных связей. Сигнал распространяется от входов к выходам. В рекуррентных (динамических) сетях имеются обратные связи и сигнал с выхода поступает на вход.

Латеральная связь (модель возбуждения/торможения) – когда у ближайших нейронов одна связь ослабляет вход нейрона, а другая усиливает.

7. Виды и назначение функции активации

Функция активации выполняет функции сжатия входного сигнала на ограниченный диапазон. Без использования этой функции зависимость выхода от потенциала нейрона будет линейной. Потенциал нейрона сравнивается с пороговой величиной W₀ и выходной сигнал принимает значение функции активации f(V)

Виды функции активации – Линейная Ступенчатая Линейная с насыщением; Много пороговая Сигмоидная.

Применяют пороговую функцию активации, имеющую вид:

Аксон (выход нейрона) преобразуется активационной функцией и дает выходной нейронный сигнал. Если активационная функция сужает диапазон изменения величины выхода так, что при любых его значениях значения выходного сигнала принадлежат некоторому конечному интервалу, то эта функция называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидная» (S-образная) функция. Эта функция математически выражается как

Активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины выходного сигнала к вызвавшему его небольшому приращению величины выхода нейрона. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода.