Построение нейронной сети

При построении модели ИНС прежде всего необходимо точно определить задачи, которые будут решаться с ее помощью. В настоящее время нейросетевые технологии успешно применяются для прогнозирования, распознавания и обобщения.

Первым этапом построения нейросетевой модели является тщательный отбор входных данных, влияющих на ожидаемый результат. Из исходной информации необходимо исключить все сведения, не относящиеся к исследуемой проблеме. В то же время следует располагать достаточным количеством примеров для обучения ИНС. Существует эмпирическое правило, которое устанавливает рекомендуемое соотношение X между количеством обучающих примеров, содержащих входные данные и правильные ответы, и числом соединений в нейронной сети: X <10.

От удачного подбора обучающих примеров во многом зависит успех создания нейронной сети, адекватно моделирующей предметную область. Прежде всего необхо­димо понимать, что не все параметры предметной области влияют на выходной вектор Y. Параметры, которые не оказывают влияния на вектор У, называют незначимыми для этого выходного вектора. Естественно, что незначимые параметры не следует включать в список параметров входного вектора X.

Однако на практике часто бывает трудно и даже невозможно установить, какие из параметров предметной области являются значимыми, а какие нет. Поэтому на первом этапе в вектор X включают как можно больше параметров, избегая только те из них, незначимость которых представляется очевидной.

После первоначального создания и обучения нейронной сети, незначимые параметры могут быть выявлены двумя способами.

1. Путем анализа значений весовых коэффициентов входных нейронов. Если окажется, что у какого-либо входного нейрона синаптические веса значительно меньше, чем у других нейронов, то этот входной нейрон скорее всего соответствует незначимому параметру вектора X.

2. Путем возмущения значений входных параметров и анализа реакции сети на эти возмущения. Если сеть не реагирует или слабо реагирует на изменения значения какого-либо входного параметра, то этот параметр не является значимым.

После выявления и исключения входных нейронов, соответствующих незначимым параметрам, качество нейросети улучшается, так как снижается ее размерность. Однако надо понимать, что слишком малое число входных параметров может привести к тому, что нейросети не хватит данных для выявления требуемых от нее закономерностей предметной области.

На втором этапе осуществляется преобразование исходных данных с учетом характера и типа проблемы, отображаемой нейросетевой моделью, и выбираются способы представления информации.

Параметры, описывающие предметную область, могут иметь са­мый разнообразный характер. Это могут быть числа с различными диапазонами изменений, качественные характеристики, такие как цвет волос и глаз пациента, даты (число, месяц, год), графические объекты. Поскольку нейросеть в состоянии обрабатывать только числа, то вся нечисловая информация должна быть закодирована в числовом виде.

Числовую информацию, приготовленную для нейросетевой обработки, желательно масштабировать, т.е. выровнять диапазоны изменения величин, например, ограничив их интервалом [0, 1] или [-1, 1]. Сделать это можно с помощью простейшего линейного преобразования:

где х_n и – значения исходного и масштабированного n-го параметра предметной области, подаваемого на n-й входной нейрон нейросети; [х_nmax,х_nmin] – реальный диапазон изменения n-го параметра; [а, b] – приемлемый диапазон изменения входных сигналов.

Желаемые выходные сигналы персептрона должны быть также закодированы в приемлемой форме и масштабированы в приемлемом диапазоне [а, b]. Поэтому к ним должно быть применено преобразование, обратное масштабированию:

y_n и – значения исходного и масштабированного n-го параметра предметной области, подаваемого на n-й выходной нейрон нейросети;

[d_mmax, d_mmin] – реальный диапазон изменения n-го параметра;

[а, b] – приемлемый диапазон изменения выходных сигналов.

Третий этап заключается в конструировании ИНС, т.е. в проектировании ее архитектуры (число слоев и число нейронов в каждом слое). Структура ИНС формируется до начала обучения, поэтому успешное решение этой проблемы во многом определяется опытом и искусством аналитика, проводящего исследования. Теоретически для построения нейросетевой модели любого сколь угодно сложного объекта достаточно использовать персептрон с одним скрытым слоем сигмоидных нейронов, число которых определяется по следующим формулам.

где N_y – размерность выходного сигнала; Q – число элементов обучающей выборки; N_w – необходимое число синаптических весов; N_x – размерность входного сигнала.

Оценив с помощью этой формулы необходимое число синаптических весов, можно рассчитать число нейронов в скрытых слоях. Например, число нейронов скрытого слоя двухслойного персептрона:

Однако в практических реализациях персептронов как количество слоев, так и число нейронов в каждом из них часто отличаются от теоретических. Иногда целесообразно использовать персептроны с большим числом скрытых слоев. Такие персептроны могут иметь меньшие размерности матриц синаптических весов, чем двухслойные персептроны, реализующие то же самое преобразование.

Строгой теории выбора оптимального числа скрытых слоев персептронов пока нет. На практике же чаще всего используются персептроны, имеющие один или два скрытых слоя, причем число нейронов в скрытых слоях обычно колеблется от N_x до 3N_x.

При проектировании персептронов существует проблема выбора необходимого числа нейронов. Число нейронов входного слоя персептрона должно совпадать с размерностью вектора входных параметров X, который определен условиями решаемой задачи. Число нейронов выходного слоя должно совпадать с размерностью выходного вектора Y, что также определено условиями задачи. Число скрытых слоев персептрона должно быть не менее одного. Число нейронов в скрытых слоях желательно оптимизировать для каждой конкретной задачи.

Четвертый этап связан с обучением сети. Существуют два способа обучения:

• деструктивный

• конструктивный

Деструктивный способ заключается в том, что первоначально строится сеть с заведомо избыточным числом степеней свободы, а затем в процессе обучения из нее постепенно исключаются лишние синаптические связи и нейроны.

Число степеней свободы персептрона – это общее число синаптических весов (и порогов), которое определяется числом нейронов скрытых и выходных слоев.

Существует довольно большое многообразие алгоритмов исключения избыточных степеней свободы нейросети. Наиболее простой из них состоит в обнулении тех синаптических весов, которые в процессе обучения нейросети стали значительно меньше их среднего значения. Однако малые значения синаптических весов не обязательно оказывают наименьшее воздействие на поведение нейронов и сети в целом. Поэтому более удачными признаются способы редукции сети, учитывающие ее чувствительность к структурным и параметрическим вариациям.

Общим недостатком деструктивных алгоритмов является значительная длительность их работы, поскольку первоначальные вычисления производятся в сетях, имеющих избыточное количество нейронов.

Этого недостатка лишены альтернативные конструктивные алгоритмы. Альтернативные алгоритмы предполагают постепенное добавление нейронов к сети, в которой их заведомо недостаточно. Новые нейроны добавляются каждый раз после определенного числа эпох обучения, а синаптическим весам и порогам новых нейронов присваиваются случайные числа. Поэтому после каждого добавления нового нейрона текущая погрешность обобщения нейросети _т резко увеличивается, но после нескольких эпох обучения становится меньше той, которая была до добавления нейрона. Однако, начиная с некоторого момента времени t₀, добавление новых нейронов перестает способствовать уменьшению ошибки _т, а, наоборот, приводит к ее увеличению, что свидетельствует о наступлении эффекта гиперразмерности (переобучения).

Процесс обучения нейронной сети представляет собой уточнение значений весовых коэффициентов и для отдельных узлов на основе постепенного увеличения объема входной и выходной информации. Началу обучения должна предшествовать про­цедура выбора функции активации нейронов, учитывающая ха­рактер решаемой задачи. В частности, в трехслойных персептронах на нейронах скрытого слоя применяется в большинстве случаев сигмоидальная функция, а тип передаточной функции нейронов выходного слоя определяется на основе анализа результатов вычислительных экспериментов на сети.

На пятом этапе проводится тестирование полученной модели ИНС на независимой выборке примеров.