80. Топологии искусственных нейронных сетей (инс). Многослойные сети. Классификация многослойных инс.

С точки зрения топологий среди ИНС выделяется З вида сетей:

1) Полно-связные сети. 2) Многослойные сети.3) Слабо-связные сети (нейронные сети с локальными связями).

Полно-связные сети представляют собой ИНС каждый нейрон, которой передает свой выходной сигнал остальным нейронам, в том числе самому себе. Входные сигналы подаются всем нейронам.

В многослойных сетях нейроны объединяются в слой. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в каждом слое может быть любым и ни как не связанно с количеством нейронов в других слоях. В общем случаи, сеть состоит из q-слоев прономерованных слева на право. Внешние входные сигналы подаются на входы нейронов первого слоя (иногда входной слой номеруется как «0»). Выходами сета являются выходные сигналы последнего слоя. Выходы «0» слоя служат в качестве распределения точек суммирования и в ряде случаев преобразование сигналов здесь не производится. Кроме входных и выходных слоев в многослойной ИНС присутствуют один или несколько промежуточных (скрытых) слоев. Связи от выходов нейронов слоя «q» к входам слоя «q+1» называются последовательным! i

Среди многослойных сетей выделяются следующие типы

A) Монотонные - каждый слой кроме последнего разбивается на 2 блока возбуждающий и тормозящий. Связи между блоками так же разделяются на возбуждающие и тормозящие. Кроме того необходима монотонная зависимость выходного сигнала от параметров входных

Б) Сети без обратных связей - каждый выходной сигнал «q» слоя подается на вход всех нейронов слоя «q+L». Обычно L=l, классическим вариантом являются сети прямого распространения. Далее обрабатывается первый скрытый слой и т.д. Последний слой выдает выходные сигналы для интерпретатора или пользователя.

B) Сети с обратными связями - это сети у которых информация с последующих слоев подается на предыдущие.

Слабосвязные сети – сети с локальными связями. Каждый нейрон связан с 4 мя или 8 топологическими соседями.

81 Обучение инс, парадигмы обучения. Правила Обучения.

Процесс функционирование ИНС, т.е сущность действий которые она способна выполнить, зависит от величин синоптических связей, поэтому разработчик выбрав структуру ИНС должен найти оптимальное значение весовых коэффициентов. Этот этап называется – обучение ИНС.

Схема процесса обучения следующая: Из БД выбирается пример, применяется ИНС и анализируется ответ, если ошибка мала, то ИНС считается обученной, Если ошибка велика- то происходит настройка весовых коэффициентов.

Обычно ИНС настраивают веса связи по имеющейся обучающей выборки, причем функционирование ИНС улучшается по мере итерационной настройки весовых коэффициентов.

Существует 3 парадигмы обучения:

1. Обучение с учителем – ИНС располагает правильными ответами, на каждый входной пример. Веса настраиваются таким образом, чтобы сеть производила ответы как можно более близкие к известным правильным. Целью является минимизация ошибки.

2. Обучение без учителя - не требует знания правильного ответа на каждый пример выборки. Раскрывается внутренняя структура данных , что позволяет распределить примеры по категориям.

3. При смешанном обучении – часть весов определяется как обучение с учителем, а остальная часть с помощью самообучения.

Все алгоритмы обучения делятся на 2 класса:

1. Детерминированные алгоритмы- обучение ИНС представляет собой жесткую последовательность действий

2. Стохастический алгоритм- обучения происходят на основе действий, подчиняющихся случайному процессу.

Вся информация, которая сеть имеет о задаче содержится в наборе примеров, поэтому качество обучения зависит от количества примеров выборки и от того, насколько полно эти примеры описывают задачу.

Существует 4 правила обучения:

1. Коррекция ошибок

2. Соревновательное обучение – выходные нейроны соревнуются между собой за активацию. Обучение позволяет кластеризовать входные данные, т.е. похожие примеры группируются сетью в соответствии с корреляцией и представляются одним элементом.

3. Правило Больцмана- представляет собой стохастическое правило обучения- целью которого является настройка весовых коэффициентов при которой состояние нейронов удовлетворяло желаемому распределению вероятности.

4. Правило Хебба - соответствует обучение без учителя, в которой весовые коэффициенты настраиваются если активизированы оба нейрона (источник и приемник).

82 Обучение ИНС. Оптимизационный характер обучения ИНС.

Процесс функционирование ИНС, т.е сущность действий которые она способна выполнить, зависит от величин синоптических связей, поэтому разработчик выбрав структуру ИНС должен найти оптимальное значение весовых коэффициентов.

Этот этап называется – обучение ИНС.

Схема процесса обучения следующая: Из БД выбирается пример, применяется ИНС и анализируется ответ, если ошибка мала, то ИНС считается обученной, Если ошибка велика- то происходит настройка весовых коэффициентов.

Обычно ИНС настраивают веса связи по имеющейся обучающей выборки, причем функционирование ИНС улучшается по мере итерационной настройки весовых коэффициентов.

В процессе функционирования ИНС формирует выходной сигнал Y в соответствии с входным сигналом X, реализуя некоторую функцию Y=G(X).

Если архитектура сети задана, то вид функции G определяется значением синоптических весов. Пусть решение некоторой задачи является функция y=f(t), заданная парами данных вход-выход (x,y) для которых Yn= F(Xn).

Обучение состоит в поиске функции G близкой к F в смысле некоторой функции ошибки Е.

Если выбрано множество обучающих примеров и и способ вычисления функции ошибки Е, то обучение ИНС превращается в задачу многомерной оптимизации с большой размерностью.

Для решения задачи оптимизации могут быть использованы классические алгоритмы оптимизации: 1) Алгоритм локальной оптимизации первого порядка (градиентный алгоритм, метод сопряженных градиентов и т.д.)

2)Алгоритм локальной оптимизации второго порядка: (Метод Ньютона, квазиньютоновский метод)

3) Стохастические методы оптимизации ( метод Монте-Карло, поиск в случайном направлении и т.д.)

4) Алгоритмы глобальной оптимизации (методы перебора. Генетические алгоритмы).