2.2. Оптимизация нейронных сетей

Достижение необходимых результатов при работе с НС зависит в первую очередь от выбора подходящей

конфигурации,

обучающих характеристик и

алгоритма обучения.

Оптимизация нейронной сети - это трудная и долговременная задача. Поскольку на данный момент не имеется общепринятых и отработанных приемов оптимизации НС, для получения приемлемой архитектуры НС приходится применять подход, называемый методом проб и ошибок.

Исследование зависимости относительной ошибки работы НС (например, предсказания) от числа слоев показало, что с ростом числа слоев ошибка увеличивается. Это объясняется тем, что большие сети не успевают за одно и тоже количество итераций обучится до уровня маленьких НС. Оптимальное число слоев лежит в пределах от 3 до 5.

Исследование зависимости ошибки обучения от коэффициента активационной функции  (логистическая функция и гиперболический тангенс), который изменялся в интервале от 0,01 до 0,99, показало, что при заданном количестве итераций в определенный момент (0,5) сеть не успевает хорошо обучится (не успевает попадать в минимум). Т.е. для повышения точности необходимо увеличение времени обучения. Сети с большим коэффициентом  характеризуются большим временем обучения и высокими показателями качества работы. Компромисс между временем обучения и точностью с одной стороны и хорошими показателями качества работы с другой практически всегда находится в зависимости от условий конкретной задачи и наборов данных, используемых для ее решения.

Исследование зависимости ошибки обучения от коэффициента скорости обучения (шага) показало, что с увеличением скорости ошибка уменьшается. При достижении некоторого критического значения ошибка начинает возрастать (рис. 3.15). Таким образом, шаг обучения необходимо выбирать в пределах области падения кривой, а не в непосредственной близости от минимального значения.

________________________________________________________________________________________________

-13-

Курс «Нейрокомпьютерные системы»

(конспекты лекций)