- •Лекция 1. История развития нейронных сетей. Определение инс, свойства инс, достоинства, недостатки. Типовые постановки задач, решаемых инс, и области их применения. Исторический аспект
- •Определение инс, свойства инс, достоинства, недостатки
- •1. Обучение
- •2.Обобщение
- •3. Абстрагирование
- •4.Применимость
- •Типовые постановки задач
- •1. Распознавание образов
- •2. Кластеризация данных
- •2.Медицина:
- •3.Авионика:
- •4.Связь:
- •5.Интернет:
- •6.Автоматизация производства:
- •7.Политические технологии:
- •8.Безопасность и охранные системы:
- •9.Ввод и обработка информации:
- •10.Геологоразведка:
- •Лекция 2.Биологический прототип. Модель искусственного нейрона. Функции активации. Классификация нейронных сетей. Основные парадигмы нейронных сетей. Биологический прототип
- •Искусственный нейрон
- •Активационные функции
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Классификация нейронных сетей
- •1. Типы обучения нейросети
- •2. Архитектура связей
- •Нейропарадигмы
- •Лекция 3.Персептрон. Персептронная представляемость. Проблема «Исключающее или». Преодоление ограничения линейной разделимости. Обучение персептрона. Дельта-правило. Персептроны
- •Персептронная представляемость
- •Проблема функции исключающее или
- •Линейная разделимость
- •Преодоление ограничения линейной разделимости
- •Обучение персептрона
- •Трудности с алгоритмом обучения персептрона
- •Лекция 4.Сети с обратным распространением ошибки. Основной элемент сети обратного распространения. Алгоритмы обучения и функционирования.
- •Обучение сети обратного распространения.
- •Проход вперед.
- •Обратный проход.
- •Подстройка весов скрытого слоя.
- •Импульс.
- •Экспоненциальное сглаживание.
- •Трудности обучения сети обратного распространения. Паралич сети
- •Локальные минимумы
- •Размер шага
- •Временная неустойчивость
- •Слой Гроссберга.
- •Режим обучения. Обучение слоя Кохонена.
- •Предварительная обработка входных сигналов.
- •Выбор начальных значений весовых векторов.
- •Обучение слоя Гроссберга.
- •Полная структура сети встречного распространения.
- •Лекция 7. Стохастические методы обучения. Больцмановское обучение.
- •Стохастические методы обучения
- •Больцмановское обучение
- •Лекция 8.Обучение Коши. Метод искусственной теплоемкости. Комбинированный метод обратного распространения и обучения Коши. Обучение Коши
- •Метод искусственной теплоемкости
- •Комбинированный метод обратного распространения и обучения Коши
- •Лекция 9. Ассоциативные сети. Сети Хопфилда. Свойства сети Хопфилда. Статистические сети Хопфилда. Сеть Хопфилда
- •Структура сети
- •Устойчивость сети Хопфилда
- •Непрерывные сети Хопфилда
- •Статистические сети Хопфилда
- •Алгоритм обучения
- •Свойства сети Хопфилда
- •Лекция 10. Сеть Хэмминга. Двунаправленная ассоциативная память. Емкость памяти. Сеть Хэмминга
- •Структура сети
- •Алгоритм функционирования
- •Сравнение с сетью Хопфилда
- •Двунаправленная ассоциативная память
- •Функционирование сети
- •Обучение сети
- •Емкость памяти
- •Непрерывная дап
- •Адаптивная дап
- •Лекция 11. Адаптивная резонансная теория. Проблема стабильности-пластичности в инс.
- •Архитектура apt
- •Лекция 12. Функционирование и обучения сети арт. Теоремы арт. Функционирование сетей apt
- •Характеристики (теоремы) сети арт
- •Лекции 13. Проблемы реализации инс. Нейрокомпьютеры. Основные направления реализации нейросетей. Оценка производительности нейрокомпьютеров.
- •Реализация инс аппаратными средствами
- •Особенности аппаратной реализации нейросетей
- •Лекции 14. Аппаратная реализация на примере нейрочипа NeuroMatrix nm6403. Пример аппаратной реализации (нейрочип NeuroMAtrix nm6403 нтц «Модуль») Выбор и обоснование принципов построения нейрочипа
- •Архитектура нейрочипа
- •Aрхитектурныe основы построения нейросистем на базе нейрочипа
- •Лекции 15. Программная реализация нейросетей . Программная реализация нейросетей
- •Основные функциональные возможности программ моделирования нейронных сетей.
- •Формирование (создание) нейронной сети
- •Обучение нейронной сети
- •Тестирование обученной нейронной сети
- •Лекции 16. Программная реализация нейросетей на примере модели процессорного элемента NeuralWorks. Модель процессорного элемента нейропакета NeuralWorks Professional II
- •Этапы функционирования процессорного элемента.
- •Литература
Обучение нейронной сети
В большинстве программ-имитаторов предлагаются стандартные процедуры обучения нейронных сетей, ориентированные на конкретные нейропарадигмы.
Как правило, в нейропакетах реализуется возможность задания различных типов данных и различных размерностей входных и выходных сигналов в зависимости от решаемой задачи. В качестве входных данных в обучающей выборке могут использоваться растровые изображения, таблицы чисел, распределения. Типы входных данных -бинарные (0 и 1), биполярные (-1 и +1) числа, целые или действительные числа из некоторого диапазона. Выходные сигналы сети - векторы целых или действительных чисел.
Для решения практических задач часто требуются обучающие выборки большого объема. Поэтому в ряде нейропакетов предусмотрены средства, облегчающие процесс формирования и использования обучающих примеров. Однако в настоящее время отсутствует универсальная методика построения обучающих выборок и набор обучающих примеров, как правило, формируется индивидуально для каждой решаемой задачи.
В качестве функции ошибки, численно определяющей сходство всех текущих выходных сигналов сети и соответствующих требуемых выходных сигналов обучающей выборки, в большинстве случаев используется среднеквадратичное отклонение. Однако в ряде нейроимитаторов существует либо возможность выбора либо задания своей функции ошибки.
Реализуемые в нейропакетах алгоритмы обучения нейронных сетей можно разделить на три группы: градиентные, стохастические, генетические. Градиентные алгоритмы (первого и второго порядков) основаны на вычислении частных производных функции ошибки по параметрам сети. В стохастических алгоритмах поиск минимума функции ошибки ведется случайным образом. Генетические алгоритмы комбинируют свойства стохастических и градиентных алгоритмов: на основе аналога генетического наследования реализуют перебор вариантов, а на основе аналога естественного отбора - градиентный спуск.
При обучении нейронных сетей, как правило, используются следующие критерии останова:
при достижении некоторого малого значения функции ошибки;
в случае успешного решения всех примеров обучающей выборки (при неизменности выходных сигналов сети).
В нейроимитаторах предусмотрено наличие специальных процедур инициализации перед обучением сети, т е. присваивания параметрам сети некоторых малых случайных значений.
Обучение представляет собой итерационную процедуру, которая при реализации на персональных компьютерах требует значительного времени. Скорость сходимости алгоритма обучения является одной из самых важных характеристик программ для моделирования нейронных сетей.
Тестирование обученной нейронной сети
Для проверки правильности обучения построенной нейронной сети в нейроимитаторах предусмотрены специальные средства ее тестирования. В сеть вводится некоторый сигнал, который, как правило, не совпадает ни с одним из входных сигналов примеров обучающей выборки. Далее анализируется получившийся выходной сигнал сети.
Тестирование обученной сети может проводиться либо на одиночных входных сигналах, либо на тестовой выборке, которая имеет структуру, аналогичную обучающей выборке, и также состоит из пар (<вход>, <требуемый выход>). Обычно, обучающая и тестовая выборки не пересекаются. Тестовая выборка строится индивидуально для каждой решаемой задачи.