2.4. Искусственные и нечеткие нейронные сети: основные понятия и применение
В данной главе мы обсудим основные понятия в теории искусственных нейронных сетей (Artificial neural networks), рассмотрим обобщение на нечеткие нейронные сети и их применение.
Искусственные нейронные сети представляют собой математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.
Широкое распространение ИНС связано с их следующими двумя ключевыми характеристиками:
адаптивными свойствами, позволяющими «обучаться на примерах» (подробнее смотри далее);
структура ИНС воплощает свойство параллелизма вычислений, что позволяет находить решения в реальном времени.
Эти свойства ИНС позволяют использовать их для решения следующих проблем:
аппроксимация функций на основе ряда данных;
распознавание образов;
кластеризация и классификация данных;
обучение в области статистической обработки данных;
накопление знаний через обучение на примерах;
предсказание и прогноз;
оптимизация;
ассоциативная память;
нелинейное моделирование и управление.
Понятие искусственной нейронной сети (ИНС) возникло при изучении процессов, протекающих в коре головного мозга, и при попытке смоделировать эти процессы. Сети называются «нейронными» благодаря аналогии с нейрофизиологией, наукой о человеческом мозге и его нервной системе. Известно, что наш мозг содержит порядка 1011 нейронов и имеет порядка 1015 связей между нейронами. Это очень большие числа. Для сравнения, такое же количество звезд в нашей галактике «Млечный Путь». Наличие такого количества взаимосвязей определяет высокий уровень параллелизма в процессах обработки информации и высокую скорость реакции (нахождения решения) нашего мозга. Мозг человека – сложная вычислительная система, состоящая из нейронов различного типа (по форме и функциям). Одна из базовых особенностей нашего мозга является – способность к обучению. Моделирование этой способности является также одной из основных целей в исследованиях по разработке теории (моделей) ИНС.
История ИНС исследований восходит к работам McCuloch и Pitts (1943), Hebb (1949), Rosenblatt (1958,1961), Rochester (1956), Widrow (1960), и продолжена в работах Kohonen (1972), Hopfiled (1982), Cohen и Grossberg (1983) и др. Чтобы представить различные модели ИНС, рассмотрим вначале общую схему работы биологического нейрона.
Модель биологического нейрона
На рисунке 2.37 показана структура типового биологического нейрона. Нейрон состоит из тела (или ячейки) (a cell), называемой также как «сома» (a soma) и нескольких ветвей-отросков (branches).
Рис. 2.37. Структура биологического нейрона
Отростки, проводящие информацию (стимул) в тело, называются «дендритами» (dendrites). Отростки, проводящие информацию (реакция) из тела, называются «аксонами» (axon).
Нейрон обладает некоторым потенциалом активации (activation potential). Сигнал (называемый a spike) передается к другим нейронам посредством аксона и характеризуется частотой, длительностью и амплитудой. Взаимодействие между нейронами реализуется в строго определенных точках, называемых «синапсами» (synapses).Таково простейшее представление работы типичного биологического нейрона.
По аналогии с биологическим нейроном и живой нервной системой, ИНС представляет собой сеть взаимосвязанных «вычислительных нейронов», способную формировать реакцию на «внешние раздражители» и адаптироваться к изменениям внешней среды.
Модель искусственного нейрона
Математическая модель нейрона (Рис.2.4.2)
впервые была предложена Маккалоком
и Питтсом
(Warren McCulloch
and Walter Pitts)
в 1943.
«Математический» нейрон вычисляет
взвешенную сумму его
входных сигналов
,
и генерирует выходное значение
равное 1, если взвешенная сумма превышает
некоторый заданный порог
.
В противном случае
.
Таким образом, активационная функция
математически записывается следующим
образом:
(2.13)
где
-
пороговая функция с заданным порогом
(рис.2.38) и
- синаптический вес (synapse
weight), связанный с
входом
.
Рис. 2.38. Модель искусственного нейрона
Примечание. Активационную функцию называют также функцией активации или функцией срабатывания, передаточной функцией.
Часто формула (2.13) записывается как
,
(2.14)
где
и
.
Вход
называется «байесовским»
входом (a bias).
Таким образом, мы можем рассматривать
(n +1) входов.
Дополнительный вход x0 и соответствующий ему вес используется для инициализации нейрона. Под инициализацией подразумевается смещение активационной функции нейрона по горизонтальной оси, то есть формирование порога чувствительности нейрона.
Эта модель может быть расширена многими путями, например, вводя различные функции активации так, как показано на рис. 2.39.
Рис. 2.39. Различные функции активации ИНС
Итак, искусственный нейрон (или математический нейрон Маккалока-Питтса, или формальный нейрон) — это узел ИНС, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют собой некоторую нелинейную функцию от единственного аргумента — линейной комбинации взвешенных входных сигналов. Полученный результат посылается на единственный выход.
От нейрона – к системе нейронов
Искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. ИНС может рассматриваться в виде взвешенного направленного графа (weighted directed graph), вершины которого представлены нейронами, а направленные дуги (с весами) описывают связи между нейронами. ИНС характеризуется тремя параметрами: типом нейронов, архитектурой (организацией связей между нейронами) и алгоритмом обучения в данной сети. В настоящее время разработано большое множество моделей ИНС. Все они различаются по следующим пунктам:
тип нейрона и тип вычисления в нем;
математическая модель для представления и обработки информации в сети, включая алгоритм обучения;
класс проблем, решаемых с помощью ИНС.
С учетом архитектуры ИНС могут быть разделены на два базисных класса:
сети с прямым распространением сигнала (Feed-forward network), в структуре которых нет петель (циклов) и
сети с обратным распространением сигнала или рекуррентные сети (Feedback network or Recurrent), в структуре которых есть циклы благодаря наличию обратных связей.
На рис. 2.40 показаны основные типы ИНС.
Рис. 2.40. Типы ИНС
Различные типы связей обуславливают различное поведение ИНС. «Ответ» (реакция) сети с прямой распространением сигнала на входную информацию не зависит от предыдущего состояния сети. Реакция сети с обратной распространением зависит от предыдущего состояния сети. Рассмотрим основные типы ИНС.