8. Классификация инс по различным признакам.
Известные сети можно разделить по принципу структуры нейронов в них на гомогенные или однородные и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой функцией активации. В гетерогенную сеть входят нейроны с различными функциями активации.
ИНС также можно классифицировать по типу обрабатываемых сигналов на бинарные и аналоговые. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль («заторможенное» состояние) и логическая единица («возбужденное» состояние).
ИНС также можно классифицировать по типу обрабатываемых сигналов на бинарные и аналоговые. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль («заторможенное» состояние) и логическая единица («возбужденное» состояние).
9 Математическая постановка нейросетевого анализа данных
10 Оценка количества нейронов в скрытых слоях инс. Теорема о полотне.
Для
оценки числа нейронов в скрытых слоях
однородных нейронных сетей можно
воспользоваться формулой для оценки
необходимого числа синаптических весов
Lw
(в многослойной сети с сигмоидальными
передаточными функциями):
где
n
- размерность входного сигнала,
m - размерность выходного сигнала, N - число элементов обучающей выборки.
Оценив необходимое число весов, можно рассчитать число нейронов в скрытых слоях.
Так же можно рассчитать число нейронов в сетях с большим числом слоев, которые иногда целесообразно использовать: такие многослойные нейронные сети могут иметь меньшие размерности матриц синаптических весов нейронов одного слоя, чем двухслойные сети, реализующие то же самое отображение. Приведенные результаты обычно известны в виде так называемой теоремы о полноте.
Теорема о полноте. Любая непрерывная функция на замкнутом ограниченном множестве может быть равномерно приближена функциями, вычисляемыми нейронными сетями, если функция активации нейрона дважды непрерывно дифференцируема.
11. Общая схема процесса обучения инс.
15. Алгоритм обратного распространения ошибки. Общее описание.
Одним из самых распространенных алгоритмов обучения ИНС является алгоритм обратного распространения ошибки (back propagation). Это итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущего выхода и желаемого выхода многослойных нейронных сетей.
Алгоритм обратного распространения используется для обучения многослойных нейронных сетей с последовательными связями. Нейроны выполняют взвешенное (с синаптическими весами) суммирование элементов входных сигналов; к данной сумме прибавляется смещение нейрона. Над полученным результатом выполняется активационной функцией затем нелинейное преобразование. Значение функции активации есть выход нейрона.
Словесное описание алгоритма выглядит следующим образом:
Шаг 1. Весам сети присваиваются небольшие начальные значения.
Шаг 2. Выбирается очередная обучающая пара (X,Y) из обучающего множества; вектор X подается на вход сети.
Шаг 3. Вычисляется выход сети.
Шаг 4. Вычисляется разность между требуемым (целевым, Y) и реальным (вычисленным) выходом сети.
Шаг 5. Веса сети корректируются так, чтобы минимизировать ошибку.
Шаг 6. Шаги со 2-го по 5-й повторяются для каждой пары обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемой величины.