1. Нс без обратных связей

   • многослойные перцептроны;

   • сети Кохонена;

   • нейронные сети с радиальными базисными функциями;

   • байесовские сети регрессии;

   • байесовские вероятностные НС;

   • линейные многослойные перцептроны.

2. Полносвязные сети

Многослойный перцептрон – самая известная и очень старая архитектура, в которой идут подряд несколько слоев нейронов — входной, один или несколько скрытых слоев, и выходной слой. Почти всегда обучается методом обратного распространения ошибки — что автоматически означает, что мы должны предоставить для обучения набор пар «входной вектор — правильный выход».

Сеть такого типа обычно очень хорошо справляется с задачами, где:

1. ответ зависит только от того, что мы даем на вход сети, и никак не зависит от истории входов.

2. ответ не зависит/слабо зависит от высоких степеней и/или произведений параметров — функции этого типа сеть строить почти не умеет.

3. в наличии есть достаточно много примеров.

Сильные стороны — изучена со всех сторон, хорошо работает на своих задачах, если на некоторой задаче не работает (действительно не работает, а не по криворукости, как это бывает чаще всего) — то это повод утверждать, что задача сложнее, чем казалось.

Слабые стороны — неумение работать с динамическими процессами, необходимость большой обучающей выборки.

Перспективы — никаких существенных. Большинство серьезных задач, которые все еще требуют решения, не входят в класс задач, решаемых многослойным перцептроном c методом обратного распространения ошибки.

Радиальная базисная нейронная сеть (РБНС) состоит из двух слоев:

1. скрытого радиального базисного слоя из S¹ нейронов

2. выходного линейного слоя из S² нейронов.

Элементы первого слоя РБНС вычисляют расстояния между входным вектором и векторами весов первого слоя, сформированных из строк матрицы W^2,1. Вектор порогов B и расстояния поэлементно умножаются. Выход первого слоя можно выразить формулой:

Нейронные сети регрессии (НСР) имеют такой же, как и РБНС первый слой, но второй слой строится специальным образом. Для аппроксимации функций часто используются обобщенные сети регрессии.

1. Скрытый радиальный базисный слой из S¹ нейронов

2. Второй слой как и в случае РБНС выполняет поэлементное произведение строки W_1,2 и вектора выхода первого слоя a¹.

Целевое значение – это значение аппроксимируемой функции в обучающей выборке.

Вероятностные нейронные сети (ВНС) используются для решения проблемы классификации:

1. Слой радиальных базисных нейронов, который вычисляет расстояние и вектор индикаторов принадлежности другим входным векторам, используемым при обучении.

2. Слой суммирует эти значения для каждого класса входов и формирует выходы сети, как вектор вероятностей. Далее ФА определяет максимум вероятностей на выходе 2 слоя и устанавливает данный выход в 1, а остальные выходы в 0.

Сеть классифицирует входные вектора, назначая входу единственный класс на основе максимальной вероятности принадлежности.

8. Обучение нс. Решение задачи классификации. Обучение нс

Нейронные сети, как вычислительные элементы, обладают универсальностью, и очень важным интеллектуальным свойством – обучаемостью.

Обучением называется процесс настройки весов нейронной сети. Обучение отличается от программирования тем, что не является алгоритмической задачей, а строится аналогично обучению живых организмов.

Классическим методом обучения нейронных сетей является обучение с учителем, когда на каждую реакцию нейронной сети поступает оценка, утверждающая правильная эта реакция или нет.

Основными элементами процесса обучения являются следующие составляющие:

1. Обучающая выборка – по возможности полное представление различных представителей классифицируемых объектов.

2. Правила изменения весов – правило должно обеспечивать уменьшение ошибки распознавания объектов.

3. Тестовая выборка – объекты, не принадлежащие изучаемой выборке и предназначенные для тестирования процесса обучения.

Рисунок 3 Линейная однослойная НС

Если задана обучающая выборка, т. е., несколько строк со следующей структурой

<Входы Х¹₁, ..., Х¹_n - выходы Y¹₁, ..., Y¹_m>,

то можно ввести обозначение

К: Х^к₁, ....Х^к_n и Y^к₁,....Y^к_m,

где К – номер образца в обучающей выборке. Последовательно используя строки обучающей выборки, необходимо вычислить реакцию нейронной сети, т. е. ее выход при текущих значениях матрицы весов. Чтобы приблизить выход сети к желаемому значению, можно изменять вектор весов. Уточним. Необходимо найти вектор весов, который бы давал нам заданный выход: