Однослойные искусственные нейронные сети

Хотя один нейрон и способен выполнять простейшие процедуры распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях. Простейшая сеть состоит из группы нейронов, образующих слой, как показано на рис. 5.

Рис. 5. Однослойная нейронная сеть.

Вершины- круги служат для распределения входных сигналов. Они не выполняют каких-либо вычислений и поэтому не считаются слоем. Каждый элемент из множества входов Х отдельным весом соединен с каждым искусственным нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть. В искусственных и биологических сетях многие соединения могут отсутствовать, все соединения показаны в целях общности. Могут иметь место так же соединения между выходами и входами элементов в слое.

Удобно считать веса элементами матрицы W(m*n). Таким образом, вычисление выходного вектора NET сводится к матричному умножению NET=X*W, где NET и X- векторы- строки.

Многослойные искусственные нейронные сети

Более крупные и сложные нейронные сети обладают, как правило, и большими вычислительными возможностями. Многослойные сети могут образовываться каскадами слоев. Выход одного слоя является входом для последующего. Многослойные сети могут привести к увеличению вычислительной мощности лишь в том случае, если активационная функция между слоями будет нелинейной. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью.

Рис. 6. Многослойная нейронная сеть.

Классификация нейронных сетей

Классификация нейронных сетей обычно производится по двум признакам:

• по типу обучения;

• по архитектуре связей.

1. Типы обучения нейросети

Таблица 1. Сравнение режимов обучения нейросетей

Вид обучения:	С "учителем"	С "подкреплением"	Без "учителя"
Что подается в качестве обучающих примеров	Набор пар входов-выходов	Оценка выходов сети	Только набор входных значений
Что требуется от сети	Найти функцию, обобщающую примеры, в случае дискретных - классифицировать входы. В целом – научиться реагировать схожим образом в схожих ситуациях.	Научиться заданной “правильной” линии поведения.	Найти закономерности в массиве данных, отыскать порождающую данные функцию распределения, найти более компактное описание данных.

Способ обучения, при котором действительный выход нейросети сравнивают с эталонным, называют обучением с учителем. Сеть обучается на наборе примеров (пар входов-выходов).

Иногда выходная информация известна не полностью. Например, вместо эталонных ответов известно лишь хуже или лучше данная конфигурация сети справляется с задачей (вспомним детскую игру “холоднее-горячее”). Этот тип обучения называют обучением с подкреплением (reinforcement learning).

Вообще говоря, возможен и такой режим обучения, когда желаемые значения выходов вообще неизвестны, и сеть обучается только на наборе входных данных:

Такой режим обучения сети называют обучением без учителя. В этом случае сети предлагается самой найти скрытые закономерности в массиве данных. Так, избыточность данных допускает сжатие информации, и сеть можно научить находить наиболее компактное представление таких данных, т.е. произвести оптимальное кодирование данного вида входной информации.