1.4. Обучение нейронных сетей

Обучение нейронных сетей напоминает процесс интеллектуального развития человеческой личности. Но, к сожалению, возможности обучения искусственных нейронных сетей ограниченны, и нужно решить много сложных задач, чтобы определить, на правильном ли пути мы находимся.

Сеть обучается, чтобы для некоторого множества входов давать желаемое (или, по крайней мере, сообразное с ним) множество выходов. Каждое такое входное (или выходное) множество рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал выходной вектор.

Различают алгоритмы обучения с учителем и без учителя.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, разность (ошибка) с помощью обратной связи подается в сеть и веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.

Обучение без учителя. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы. Предъявление на вход вектора из данного класса даст определенный выходной вектор, но до обучения невозможно предсказать, какой выход будет производиться данным классом входных векторов. Следовательно, выходы подобной сети должны трансформироваться в некоторую понятную форму, обусловленную процессом обучения. Это не является серьезной проблемой. Обычно не сложно идентифицировать связь между входом и выходом, установленную сетью.

1.5. Подготовка входных и выходных параметров

1.5.1. Подбор обучающих примеров

От удачного подбора обучающих примеров во многом зависит успех создания нейронной сети, адекватно моделирующей предметную область. Прежде всего необходимо понимать, что не все параметры предметной области влияют на выходной вектор Y. Например, знание температуры тела вряд ли поможет в постановке диагноза больному, если задача состоит в выявлении у него одних только психических отклонений.

Параметры, которые не оказывают влияния на вектор Y, называет незначимыми для этого выходного вектора. Естественно, что незначимые параметры не следует включать в список параметров входного вектора X.

Однако на практике часто бывает трудно и даже невозможно установить, какие из параметров предметной области являются значимыми, а какие нет. Поэтому на первом этапе в вектор X включают как можно больше параметров, избегая только те из них, незначимость которых представляется очевидной. После первоначального создания и обучения нейронной сети, незначимые параметры могут быть выявлены двумя способами.

1. Путем анализа значений весовых коэффициентов входных нейронов. Если окажется, что у какого-либо входного нейрона синаптические веса значительно меньше, чем у других нейронов, то этот входной нейрон скорее всего соответствует незначимому параметру вектора X.

2. Путем возмущения значений входных параметров и анализа реакции сети на эти возмущения. Если сеть не реагирует или слабо реагирует на изменения значения какого-либо входного параметра, то этот параметр не является значимым.

После выявления и исключения входных нейронов, соответствующих незначимым параметрам, качество нейросети улучшается, так как снижается ее размерность. Однако надо понимать, что слишком малое число входных параметров может привести к тому, что нейросети не хватит данных для выявления требуемых от нее закономерностей предметной области.

Предобработка обучающих примеров и интерпретация ответов.

Параметры, описывающие предметную область, могут иметь самый разнообразный характер. Но поскольку нейросеть в состоянии обрабатывать только числа, то вся нечисловая информация должна быть закодирована в числовом виде.