Обучение нейронных сетей

Нейроинформатический подход к решению задач имеет принципиальное отличие от классических алгоритмов. Нейронная сеть способна к обучению, и это позволяет применять ее для выявления сложных зависимостей между данными, в том числе неизвестных экспериментатору. Кроме этого нейронные сети способны обощать полученную информацию и формировать правила вывода на основании полученных данных. Обученная на ограниченном наборе данных сеть способна применять полученные знания для обработки данных, не встречавшихся ей раньше.

Обучение нейронной сети это процесс изменения синаптических весов в зависимости от реакции сети на обучающие входные вектора. Целью обучения сети является получение адекватной реакции на входные данные из тестовой выборки. Процесс обучения состоит в последовательной подаче сети образцов из обучающей выборки, получении отклика сети и последующей модификации синаптических весов. Условием завершения обучения может являться либо приближение результата к ожидаемому с достаточной степенью точности, либо замедление скорости изменения весов.

Обучающие данные делятся на несколько категорий, уже упоминавшихся ранее:

• Обучающая выборка – большой набор данных (около 90% от всех данных), используется на этапе настройки весов сети;

• Тестовая выборка – маленький набор данных, используется для оценки качества обучения сети;

• Иногда есть еще контрольная выборка – маленький набор данных, использующийся для сравнения нескольких уже обученных моделей и выбора оптимальной.

Обучающие данные подаются на вход нейронной сети для ее обучения. После поступления входного образца модифицируются весовые коэффициенты. В процессе обучения образцы из обучающей выборки могут подаваться на вход многократно, порядок их поступления может быть как случайным, так и последовательным.

Для оценки качества работы сети используются данные из тестовой выборки. Чтобы оценка не была смещенной в сторону оптимистической, образцы тестовой выборки не должны встречаться среди обучающих образцов. Они проверяют способность сети реагировать на данные, не встречавшиеся ей ранее. Если это правило нарушается, не будет отслеживаться состояние переобучения сети. Переобученная сеть узнает знакомые ей образцы с очень высокой точностью за счет того, что теряет гибкость и неспособна реагировать на незнакомые данные. При обучении сети можно измерять ошибку обучения и ошибку обобщения. Первая описывает точность ответа сети на примеры обучающей выборки, вторая – точность решения примеров из тестовой выборки. График зависимости этих значений от количества циклов обучения, а также от размеров модели, представляет собой так называемые «кривые обучения».

Подходы к обучению

Существует два основных подхода к обучению нейронных сетей: обучение с учителем и обучение без учителя. Выбор между ними зависит от имеющихся данных и категории задач.

Обучение с учителем

Обучение с учителем состоит в том, что сети предъявляются примеры, для которых известен правильный ответ. При получении обучающего примера сеть генерирует собственный ответ, после чего синаптические веса изменяются таким образом, чтобы уменьшить отклонение ответа сети от правильного.

Этот метод применим для систем, где известно множество входных объектов и множество допустимых ответов сети. Обучающая выборка состоит из набора пар «объект-ответ». Задачей сети является поиск зависимости между объектами и правильными ответами.

Классы задач, решаемых таким методом:

• Задача классификации: определение принадлежности произвольного объекта из множества входных данных одному из классов. Множестом ответов является конечное множество идентификаторов классов. Для задачи классификации функция отклонения полученного ответа y от правильного y’ принимает вид , и ее возможные значения принадлежат множеству {0; 1}.

• Задача регрессии: по существующему набору пар (X,Y) требуется исследовать влияние переменной (или вектора переменных) X на зависимую переменную (или вектор переменных) Y. Ответами являются возможные значения переменной (вектора переменных) Y, действительные числа. Функция ошибки имеет вид , и ее значениями являются любые положительные действительные числа