20. Генетический алгоритм обучения нс
Генетический алгоритм обучения состоит в совмещении процедур случайного и направленного поиска оптимального решения задачи обучения. Рассматривается сразу несколько вариантов решения (популяция), которые случайным образом заполняют область допустимых решений. Из текущей популяции строится новое поколение путем применения специальных процедур:
Селекция – наилучшие представители популяции напрямую попадают в следующее поколение.
Скрещивание – из представителей популяции получается два новых, посредством разрыва этих представителей по одному и тому же сечению и обмена полученными частями.
Мутация – представитель популяции изменяется в результате замены части его элементов на противоположные.
Работа этих процедур носит случайный характер в соответствии с приписываемыми им вероятностями:
.
Численность популяции на каждом шаге ограничивается на основе схемы селекции и критерия оптимизации. В качестве такого критерия в первую очередь используется критерий минимума невязки (18.1). Каждая новая популяция может в процессе своего существования циклически обучаться путем применения одного из известных методов перед последующей генерацией нового поколения.
Применение генетического алгоритма к обучению нейронных сетей сводится к преобразованию матриц весовых коэффициентов по заданным и, в принципе, неоднозначно определяемым правилам. Хорошие результаты обучения дают следующие правила скрещивания и мутации матриц весовых коэффициентов:
где
- номер популяции,
- скрещиваемые матрицы (предки),
- коэффициент скрещивания,
- результирующая матрица (потомок),
- результат мутации,
- коэффициент мутации. Функция
является генератором случайных чисел,
подчиненных равномерному закону
распределения и принадлежащих интервалу
.
Коэффициент скрещивания
рекомендуется назначать из интервала
.
Коэффициент
является масштабирующим и если весовые
коэффициенты генерируются в интервале
,
то его можно приравнять 1.
Пример применения генетического алгоритма для обучения трехслойной НС распознаванию изображений приведен на рис.20.1. Об успешности процесса обучения целесообразно судить по величине невязки выходного сигнала.
Рис.20.1. График изменения невязки в процессе обучения.
На рисунке приведены зависимости невязки от номера шага обучения для 10-ти особей (наборов весовых матриц). Графики демонстрируют две особенности алгоритма:
сочетание плавного и скачкообразного изменения невязки,
некоторые особи прекращают обучаться.
Плавное изменение невязки соответствует процедуре скрещивания, а скачи – появлению удачных особей-мутантов.
Недостаток генетического алгоритма обучения: реализация алгоритма требует больших вычислительных ресурсов, по сравнению с методом обратного распространения ошибки.
Основное преимущество генетического алгоритма обучения состоит в том, что он не зависит от внутренней структуры обучаемой системы. Алгоритмы МОРО и Хебба применимы только для обучения слоистых НС без обратных связей, генетический алгоритм может быть применен к любому виду НС или других видов систем трансформации информации.