Вопрос 7. Нейросетевые технологии. (Математическая модель нейрона. Персептрон. Классификация нейронных сетей и их свойства.)
Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга.
Адаптируемые и обучаемые, они представляют собой распараллеленные системы, способные к обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим нейроном.
Перечислим некоторые проблемы, решаемые с помощью искусственных нейронных сетей и представляющие интерес для ученых и инженеров.
Классификация/распознавание образов.
Кластеризация/категоризация.
Аппроксимация функций.
Предсказание/прогноз.
Оптимизация.
Ассоциативная память.
Управление.
Формальная (Математическая) модель нейрона
В нейронных сетях знания содержатся в состояниях множества так называемых нейроподобных элементов (или просто нейронов) и связей между ними.
|
Рис.1 Взаимосвязь биологических нейронов |
Биологический нейрон моделируется как устройство, имеющее несколько входов (дендриты), по которым в нейрон поступают сигналы и один выход (аксон) для передачи выходных сигналов данного нейрона другим нервным клеткам.
В зависимости от конкретной реализации обрабатываемые нейроном сигналы могут быть аналоговыми или цифровыми (1 или 0).
В теле нейрона происходит взвешенное суммирование входных возбуждений, и далее это значение является аргументом активационной функции y нейрона.
Будучи соединенными определенным образом, нейроны образуют нейронную сеть. Работа сети разделяется на обучение и адаптацию.
Таким образом, модель искусственного нейрона представляет собой дискретно-непрерывный преобразователь информации.
Формальная модель нейрона Мак-Каллока-Питтса, которая и сейчас является наиболее применяемым формализмом для описания отдельного нейрона в нейронной сети, показана на рис.2
Рис. 2. Формальная модель нейрона Мак-Каллока-Питтса. Здесь xi - сигнал на i-м входе (синапсе) нейрона; i, - вес i-го входа (синапса) нейрона; у - выход нейрона; h - порог срабатывания нейрона.
Модель Хопфильда – это математическая модель ассоциативной памяти на нейронной сети с использованием правила Д. Хебба для модификации весовых коэффициентов. Это правило основано на простом предположении: если два нейрона возбуждаются вместе, то сила связи между ними возрастает; если они возбуждаются порознь, то сила связи между ними уменьшается.
Персептрон
Систематическое изучение искусственных нейронных сетей было начато Маккалохом и Питтсом в 1943 году Позднее они исследовали нейросетевые парадигмы для распознавания изображений, подвергаемых сдвигам и поворотам, используя при этом нейронную модель, показанную на рис.4. Элемент ∑ умножает каждый вход х1, на вес w1 и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае - нулю Эти системы (и множество им подобных) получили название персептронов.
Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов.
Рис. 4. Персептронный нейрон
Рис. 5. Персептрон со многими выходами
Процедура обучения персептрона:
ШАГ 1. Проинициализировать элементы весовой матрицы небольшими случайными значениями
ШАГ 2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить ее выход
ШАГ 3. Если выход правильный, перейти на шаг 4. Иначе вычислить разницу между требуемым и полученным значениями выхода:
δ = d - Y
Модифицировать веса в соответствии с формулой
где t и t+1 - номера текущей и следующей итераций, η - коэффициент скорости обучения, 0 < η < 1, i– номер входа, j – номер нейрона в слое.
Очевидно, что если d > Y, то весовые коэффициенты будут увеличены и, тем самым уменьшат ошибку. В противном случае они будут умещены, и У тоже уменьшится, приближаясь к d.
Шаг 4 Цикл с шага 2, пока сеть не перестанет ошибаться.