29. Проблемы обучения инс [1/1]
1) Медленная сходимость процесса обучения. Математическая сходимость доказана для бесконечно малого шага.
2) “Ловушки”. Наличие локальных минимумов. Решается путем изменения структуры нейронной сети, а именно - увеличением числа нейронов второго слоя.
3) “Паралич” сети. Возникает в двух случаях.
Для логистической функции:
a) Если , то обучение блокируется.
б) , если X=0, то обучение блокируется.
4) Перетренировка сети. Связана с неправильным выбором количества нейронов. Сеть теряет свою основную способность к обобщению. Эта ситуация возникает если выбрано слишком большое количество нейронов. Нейронная сеть просто запоминает входные образы. Для разрешения этой проблемы структуру нужно упростить.
а) Lw – количество нейронов в скрытых слоях;
m – количество выходов ;
n – количество входов ;
N – размер обучающей выбоки.
б) Создание кросс-проверки. Часть обучающего множества выделяют и создают контрольное множество кросс-проверки. Оно не участвует в обучении.
В процессе обучения ошибка на обучаемом множестве уменьшается и количество обращений к контрольному множеству тоже, что говорит о желаемой ситуации. Если обе ошибки не достигают малого значения, то сеть, наоборот, слишком простая. Существуют и другие способы.
30. Генетические алгоритмы. Определение. Назначение. Сущность естественного отбора в природе [1/1]
Генетические алгоритмы – достаточно простая модель эволюции в природе, реализованная в виде компьютерной программы, которая воспроизводит механизмы естественного отбора и генетического наследования. Основное назначение генетических алгоритмов заключается в решении поисковых задач (например, поиска оптимума), которые характеризуются большой размерностью пространства поиска решения.
Естественный отбор – это дифференциальное выживание и размножение особей, которые отличаются друг от друга генетически детерминированными признаками. Более приспособленные к условиям окружающей среды особи оставляют больше потомков, чем менее приспособленные, что в конечном счете влияет на приспособленность всей популяции.
31. Основные понятия генетических алгоритмов [1/1]
1) Хромосома – вектор (последовательность) из нулей и единиц.
2) Ген – одна позиция (бит) хромосомы.
3) Аллель - значение гена.
3) Особь (генотип, индивидуум, структура) – вариант решения задачи в закодированном виде. Иначе, это точка в многомерном пространстве для оптимизируемой функции f(x1,x2,….,xn)->max.
4) Популяция – множество особей, образованное на i-m шаге выполнения генетических алгоритмов.
5) Фенотип – множество декодированных значений, соответствующих генотипу.
6) Кроссовер – операция, при которой хромосомы обмениваются своими частями.
7) Локус – позиция (номер гена) в хромосоме
8) Мутация – случайное изменение одной или нескольких позиций в хромосоме.
9) Функция приспособленности (fitness function) – функция оценки, которая определяет меру приспособленности данной особи в популяции и позволяет выбрать из множества особей наиболее приспособленную. В соответствии с эволюционным принципом выживания сильнейших.
Виды функций приспособленности. Если решается задача оптимизации, то функция приспособленности – сама целевая функция. При этом если ищется максимум, то функция не модифицируется. Если же ищется минимум, то функция приспособления модифицируется так, чтобы опять свести задачу к максимизации.
Если задача теории управления, то функция приспособленности это функция ошибки ε. Если теория игр, то функция приспособленности – это стоимостная функция
10) Поколение – очередная популяция на i-м шаге.