- •Технологии искусственного интеллекта
- •Нечеткое множество. Пустое нечеткое множество. Универсум.
- •Носитель нечеткого множества. Конечное и бесконечное нечеткие множества.
- •Множество α-уровня. Высота нечеткого множества. Ядро, границы и точки перехода нечеткого множества.
- •Нормальное и субнормальное нечеткие множества. Унимодальное нечеткое множество.
- •Основные типы функций принадлежности.
- •Операции над нечеткими множествами.
- •Нечеткие операторы.
- •Лингвистическая переменная.
- •Правила нечетких продукций. Продукционная нечеткая система.
- •Методы нечеткой композиции (вывода). Прямой и обратный методы вывода заключений в системах нечетких продукций.
- •Основные этапы нечеткого вывода.
- •Основные алгоритмы нечеткого вывода.
- •Генетический алгоритм.
- •Нейронные сети. Персептрон.
- •Нейронные сети в искусственном интеллекте – это упрощенные модели биологических нейронных сетей.
- •Персептрон
- •Многослойные нейронные сети
- •Многослойный персептрон
- •Алгоритм обратного распространения ошибки.
- •Недостатки алгоритма обратного распространения ошибки
- •1. Паралич сети
- •2. Локальные минимумы
- •3. Размер шага
- •4. Временная неустойчивость
- •Улучшение работы алгоритма обратного распространения ошибки
- •1. Режим обучения
- •2. Максимизация информативности
- •3. Функция активации
- •4. Целевые значения
- •5. Нормализация входов
- •6. Инициализация
- •7. Обучение по подсказке
- •8. Скорость обучения
7. Обучение по подсказке
Обучение на множестве примеров связано с аппроксимацией неизвестной функцией отображения входного сигнала на выходной. В процессе обучения из примеров извлекается информация о функции и строится некоторая аппроксимация этой функциональной зависимости. Процесс обучения на примерах можно обобщить, добавив обучение по подсказке, которое реализуется путем предоставления некоторой априорной информации о функции. Такая информация может включать свойства инвариантности, симметрии и прочие знания о функции, которые можно использовать для ускорения поиска ее аппроксимации и, что более важно, для повышения качества конечной оценки.
8. Скорость обучения
Все нейроны многослойного персептрона в идеале должны обучаться с одинаковой скоростью. Однако последние слои обычно имеют более высокие значения локальных градиентов, чем начальные слои сети. Исходя из этого, параметру скорости обучения в алгоритме обратного распространения ошибки следует назначать меньшие значения для последних слоев сети и большие – для первых. Чтобы время обучения для всех нейронов сети было примерно одинаковым, нейроны с большим числом входов должны иметь меньшее значение параметра обучения, чем нейроны с малым количеством входов. Есть мнение, что целесообразно назначать параметр скорости обучения для каждого нейрона обратно пропорционально квадратному корню из суммы его синаптических связей.