4:Классическая модель формального нейрона

Ответ: Иску́сственный нейро́н (Математический нейрон Маккалока — Питтса, Формальный нейрон— узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера.

5:Что такое функция активации?

Ответ: Передаточная функция нейрона

Передаточная функция f(u) определяет зависимость сигнала на выходе нейрона от взвешенной суммы сигналов на его входах. В большинстве случаев она является монотонно возрастающей и имеет область значений [ − 1,1] или [0,1], однако существуют исключения. Также для некоторых алгоритмов обучения сети необходимо, чтобы она была непрерывно дифференцируемой на всей числовой оси. Искусственный нейрон полностью характеризуется своей передаточной функцией. Использование различных передаточных функций позволяет вносить нелинейность в работу нейрона и в целом нейронной сети. Бывают:

1) Линейная передаточная функция

2) Пороговая передаточная функция

3) Сигмоидальная передаточная функция

4) Радиально-базисная функция передачи

7:Что такое сигмаидальный нейрон?

Ответ: Нейрон данного типа устраняет основной недостаток персептрона - разрывность функции активации f(ui). Структурная схема сигмоидального нейрона представлена ниже.

В качестве функции активации f(ui) выступает сигмоидальная функция (т.е. функция, график которой похож на букву S). На практике используются как униполярные, так и биполярные функции активации. Униполярная функция, как правило, представляется формулой

f(u)=1/(1+exp(-b*u)). Для обучения сигмоидального нейрона используется стратегия "с учителем", однако, в отличие от персептрона, для поиска минимума целевой функции

E(Wi)=sum[k=1:p]((1/2)*(yki-dki)2)

здесь используются методы поисковой оптимизации первого порядка, в которых целенаправленное изменение весовых коэффициентов wij осуществляется в направлении отрицательного градиента E(Wi).

J-ая компонента вектора градиента имеет вид

дE(Wi)/дwij = sum[k=1:p]((yki-dki)*дyki/дwij) = sum[k=1:p]((yki-dki)*(df(uki)/duki)*xkj).

Обозначив delthaki=(yki-dki)*(df(uki)/duki), имеем

дE(Wi)/дwij=sum[k=1:p](delthaki*xkj).

Также возможно обучение сигмоидального нейрона и дискретным способом - сериями циклов уточнения входных весов для каждой эталонной пары <Xk, dki> (см. правило персептрона). При этом коррекция весов после каждого цикла выполняется по следующей формуле:

wij(t+1)=wij(t)-nu*delthaki(t)*xkj,

где nu - коэффициент обучения, значение которого выбирается из диапазона (0,1).

Необходимо напомнить, что все методы поисковой оптимизации первого порядка - это методы локального поиска, не гарантирующие достижения глобального экстремума. В качестве попытки преодолеть этот недостаток было предложено обучение с моментом, в котором коррекция весов выполняется следующим образом:

wij(t+1)=wij(t)-nu*delthaki(t)*xkj+alpha*(wij(t)-wij(t-1)).

Последнее слагаемое в формуле называется моментом и характеризует фактическое изменение веса в предыдущем цикле (alpha выбирается в диапазоне (0, 1)). Существует надежда, что при приближении к точке локального минимума (где градиентная составляющая delthaki(t)*xkj стремится к нулю) составляющая момента выведет поиск из области локального минимума в более перспективную область.