28. Определение и схема процесса обучения нс. От чего зависит качество обучения нс?

Обучение НС состоит в подборе значений синаптических весов и смещений при условии минимизации функции ошибки.

Обучение – это итерационная процедура.

Обучение – это задачи многомерной оптимизации (пример: найти глобальный минимум)

Схема обучения:

Качество обучения нейронной сети зависит от:

1. Количества примеров обучающей выборки

2. На сколько полно эти примеры описывают задачу

29. Алгоритм обратного распространения ошибки.

Алгоритм обратного распространения ошибки является одним из методов обучения многослойных нейронных сетей прямого распространения, называемых также многослойными персептронами.

Данный алгоритм относится к алгоритмам обучения с учителем. Для обучения сети, так же как и для однослойного персептрона, необходимо иметь множество пар векторов {x^s, d^s}, s = 1…S, где {x^s} = {x¹,…, х^s} – множество входных векторов x, {d^s} = {d¹,…, d^s} – множество эталонов выходных векторов. Совокупность пар {x^s, d^s} образуют обучающее множество. Количество элементов S в обучающем множестве должно быть достаточным для обучения сети, чтобы под управлением алгоритма сформировать набор параметров сети, дающий нужное отображение x → y. Количество пар в обучающем множестве не регламентируется. Если элементов слишком много или мало, сеть не обучится и не решит поставленную задачу. Выберем один из векторов х и подадим его на вход сети. На выходе получится некоторый вектор y. Тогда ошибкой сети можно считать Еs = ||d^s – y^s|| для каждой пары (x^s, d^s).

Алгоритмом обучения минимизируется суммарная квадратичная ошибка, которая имеет вид:

Где j – число нейронов в выходном слое сети.

Задача обучения ставится так: подобрать такие значения параметров сети, чтобы ошибка Е была минимальной для данного обучающего множества.

Алгоритм обратного распространения ошибки следующий:

1. Инициализировать сеть. Весовым коэффициентам и смещениям (порогам) сети присваиваются малые случайные значения.

2. Выбрать очередную обучающую пару (вектор) из обучающего множества и подать его (входной вектор) на вход сети.

3. Вычислить выход сети y(x)

4. Вычислить разность между выходом сети и требуемым значением для данного вектора (требуемым выходом)

5. Если была допущена ошибка при классификации выбранного вектора, то подкорректировать последовательно веса сети сначала между выходным и скрытым слоями, затем между скрытыми и входным (для минимизации ошибки).

6. Повторять шаги с 1 по 4 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

30. Обучение без учителя. Алгоритм Хебба.

В данном случае значения выходов заранее не известны.

Процесс обучения без учителя строится на том же принципе, что и обучение с учителем – подстраивании синаптических весов. Подстройка синапсов может происходить только на основании информации, доступной в нейроне, то есть его состояния и уже имеющихся весовых коэффициентов.

Рассмотрим метод обучения Хебба.

Веса по данному методу изменяются исходя из формулы:

где - выходное значение нейрона I слоя n-1, - выходное значение j-го нейрона слоя n, α- коэффициент скорости обучения. n - здесь и далее, номер слоя сети, t – номер операции.

При обучении данным методом усиливаются связи между возбужденными нейронами, что видно из второго слагаемого формулы. Как видно из формулы сильнее всего обучаются те синапсы, которые наиболее динамично изменились в сторону увеличения.

Алгоритм обучения Хебба выглядит следующим образом:

1. При инициализации сети всем весовым коэффициентам присваиваются небольшие случайные значения (положительные и отрицательные).

2. На входы подается выбранный случайным образом образ и сигналы возбуждения распространяются по всем слоям.

Для каждого нейрона рассчитывается сумма входных сигналов.

3. На основании полученных выходных значений нейронов по выше написанной формуле происходит коррекция весовых коэффициентов.

4. Цикл с шага 2, пока выходные значения сети сами не стабилизируются с заданной точностью.