21. Модель нейрона. Функции активации. Преимущества и недостатки различных фунций активации.
Вычисления в нейроне:
Вычисляется взвешенная сумма входов:
где
— выходы нейронов предыдущего слоя,
— смещение (обозначено вместо
у перцептрона).
Через функцию активации
получаем выход нейрона:
Ключевое отличие от перцептрона: Перцептрон использует жесткую пороговую функцию (+1/-1). Нейрон в нейронных сетях использует гладкую, дифференцируемую функцию активации, что необходимо для обучения многослойных сетей методом обратного распространения ошибки.
2. Функции активации (рассмотренные в материале)
В тексте приведены три функции активации:
а) Сигмоида (логистическая)
Имеет S-образную (сигмоидальную) форму.
Производная выражается через саму функцию:
— это важно для обратного распространения.
б) Гиперболический тангенс (tanh)
Также имеет сигмоидальную форму, но симметричен относительно обеих осей (значения в диапазоне –1…1).
Материал указывает: «Это свойство может помочь улучшить сходимость алгоритма обратного распространения».
в) ReLU (Rectified Linear Unit)
Называется функцией выпрямителя.
Устройство, использующее её, — линейный выпрямительный блок (ReLU).
3. Преимущества и недостатки (на основе материала)
Функция |
Преимущества |
Недостатки (явно или косвенно из текста) |
Сигмоида |
– Гладкая,
дифференцируемая
– Простая
производная
|
– Не упомянуто явно, но в глубоких сетях уступает ReLU (из фразы про ReLU) |
Tanh |
– Симметричная форма (центр в 0) – Улучшает сходимость обратного распространения |
– Не упомянуто в тексте, но аналогично сигмоиде может страдать от насыщения |
ReLU |
– В глубоких нейронных сетях превосходит две другие (прямое утверждение) – Вычислительно проста |
– Не указаны в данном фрагменте, но по общему контексту: не дифференцируема в нуле (на практике игнорируется) |
22. Многослойные сети. Полносвязная сверточная сеть (fcnn).
Многослойная нейронная сеть (англ. Multilayer neural network) — нейронная сеть, состоящая из входного, выходного и расположенного(ых) между ними одного (нескольких) скрытых слоев нейронов.
Помимо входного и выходного слоев эти нейронные сети содержат промежуточные, скрытые слои. Такие сети обладают гораздо большими возможностями, чем однослойные нейронные сети, однако методы обучения нейронов скрытого слоя были разработаны относительно недавно.
Работу скрытых слоев нейронов можно сравнить с работой большого завода. Продукт (выходной сигнал) на заводе собирается по стадиям на станках. После каждого станка получается какой-то промежуточный результат. Скрытые слои тоже преобразуют входные сигналы в некоторые промежуточные результаты.
Полносвязные сети (Fully Connected Neural Networks, FCNN) Полносвязные сети представляют собой последовательность слоев нейронов, где каждый нейрон связан со всеми нейронами предыдущего слоя. Они хорошо подходят для классификации сигналов по известным шаблонам, но чувствительны к размерности входных данных и плохо масштабируются для анализа длинных временных рядов.