1.4.Понятие «искусственная нейронная сеть»

Понятие «искусственная нейронная сеть» подразумевает параллельную распределенную вычислительную структуру, состоящую из обрабатывающих элементов, которые могут обладать локальной памятью и производить локальную обработку информации, соединенных между собой в форме направленного графа. Вершинами графа являются ИН, его дугами — однонаправленные связи между ИН. Каждой ИНС соответствует некоторое математическое описание сети.

Типичная архитектура ИНС представлена на рис. 1.4.

Как правило, множество ИН в ИНС разделено на подмножества, которые называются слоями или плоскостями. Искусственные нейроны могут быть связаны как с искусственными нейронами своего слоя, так и с искусственными нейронами других слоев. Передаточные функции ИН каждого слоя обычно одинаковы. В ИНС с дискретной формой обработки информации каждый слой может включать ИН, генерирующий сигнал активации для всех ИН слоя. Передаточную функцию этого ИН называют функцией-планировщиком. Все ИН слоя, как правило, обновляют свое состояние одновременно.

Рис.1.4. Типичная архитектура нейронной сети

Многие модели ИНС включают в себя слой, называемый входным. Каждый ИН входного слоя принимает только внешние по отношению к ИНС входные сигналы.

1.5.Геометрическое описание связей

Для геометрического описания связей ИНС необходимо определить схему соединений ИН. Простейший способ построения схемы соединений — нумерация ИН с последующим построением матрицы соединений , где , причем , если связь существует, и , если связи нет.

В ряде случаев для описания связей удобнее использовать понятие пучка, т.е. группы связей, идущих от одной геометрической области расположения ИН к другой. При этом подразумевают, что связи, составляющие пучок, начинаются в одной области сети (областью ИНС называется набор ИН, которые могут принадлежать различным слоям ИНС, но объединяться по какому-либо функциональному признаку). Все данные, которые передаются по связям данного пучка, должны быть одинаковых математических типов. Все связи пучка должны заканчиваться в области, которая является подмножеством одного слоя ИН. Эта область называется целью пучка.

На рис.1.5 показаны два пучка.

Рис.1.5. Пучки межнейронных связей двухслойной сети

Пучок 1 начинается в источнике R1 и идет к цели R3. Пучок 2 начинается в источнике R2 и идет к цели R4. Источник R2 состоит из объединения двух подмножеств первого и второго слоев.

Выходные сигналы ИН этих слоев должны быть одинаковых математических типов. Типичный ИН в области пересечения областей R3 и R4 принимает входы от пучков 1 и 2.

Понятием пучка удобно пользоваться при разработке и анализе различных моделей ИНС. Обычно все связи, необходимые для реализации ИНС, могут быть представлены в виде небольшого количества пучков.

2. Законы обучения

2.1.Основные определения

Возможность обучения нейронных сетей является важнейшей отличительной особенностью нейросетевого подхода к построению систем обработки информации.

Использование того или иного метода обучения в значительной мере определяется архитектурой сети. Однако при использовании одной и той же архитектуры иногда возможно использование различных методов обучения. Как правило, процесс обучения состоит в предъявлении нейронной сети примеров и оценки их решения сетью. По результатам оценки делается очередной шаг процедуры обучения.

В общем случае под методом обучения понимают набор обучающих правил, которые определяют как изменяются параметры ИНС в ответ на входное воздействие. Многие из них являются развитием высказанной Хеббом идеи о том, что обучение основано на увеличении синаптического веса связи между одновременно активными нейронами. Поэтому часть используемых связей усиливается, что объясняет феномен обучения путем повторений и привыкания.

Каждый метод обучения действует в определенной информационной среде. Различают локальную информационную среду ИН, определяемую связями ИН и его параметрами, и глобальную информационную среду, в которой функционирует ИНС. Локальной информационной средой ИН называется совокупность входов ИН всех классов. Глобальной информационной средой ИНС называется совокупность входов всех нейронов сети.

Поскольку в большинстве ИНС, которые имеют возможность обучаться, обучение происходит через изменение весов межнейронных связей, основным параметром, определяющим глобальную информационную среду, является весовой вектор.

Предположим для простоты, что все нейроны сети хранят весовых коэффициентов каждый. Тогда для ИНС с нейронами вводится понятие весового вектора (матрицы), сформированного изо всех весовых коэффициентов ИНС.

Матрицу рассматривают как набор всех возможных элементарных весовых векторов, определяющих ряд возможных информационных сред для данной ИНС.

То есть, если необходимо определить как обрабатывается информация данной ИНС, то представление об этом может быть получено на основе анализа значений элементов вектора .

Рассмотрим систему, определенную функцией вход-выход , где — вектор входов, — вектор выходов, — весовой вектор, который определяет форму функции .

В результате обучения требуется найти весовой вектор, который минимизирует функцию среднеквадратической ошибки аппроксимации функции функцией , дающей желаемый выход системы, по некоторой области , причем выбирается в соответствии с некоторой плотностью вероятности .

Функция среднеквадратической ошибки аппроксимации:

.

Обучение сети связано с минимизацией этой функции.