
- •Лекция 1. История развития нейронных сетей. Определение инс, свойства инс, достоинства, недостатки. Типовые постановки задач, решаемых инс, и области их применения. Исторический аспект
- •Определение инс, свойства инс, достоинства, недостатки
- •1. Обучение
- •2.Обобщение
- •3. Абстрагирование
- •4.Применимость
- •Типовые постановки задач
- •1. Распознавание образов
- •2. Кластеризация данных
- •2.Медицина:
- •3.Авионика:
- •4.Связь:
- •5.Интернет:
- •6.Автоматизация производства:
- •7.Политические технологии:
- •8.Безопасность и охранные системы:
- •9.Ввод и обработка информации:
- •10.Геологоразведка:
- •Лекция 2.Биологический прототип. Модель искусственного нейрона. Функции активации. Классификация нейронных сетей. Основные парадигмы нейронных сетей. Биологический прототип
- •Искусственный нейрон
- •Активационные функции
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Классификация нейронных сетей
- •1. Типы обучения нейросети
- •2. Архитектура связей
- •Нейропарадигмы
- •Лекция 3.Персептрон. Персептронная представляемость. Проблема «Исключающее или». Преодоление ограничения линейной разделимости. Обучение персептрона. Дельта-правило. Персептроны
- •Персептронная представляемость
- •Проблема функции исключающее или
- •Линейная разделимость
- •Преодоление ограничения линейной разделимости
- •Обучение персептрона
- •Трудности с алгоритмом обучения персептрона
- •Лекция 4.Сети с обратным распространением ошибки. Основной элемент сети обратного распространения. Алгоритмы обучения и функционирования.
- •Обучение сети обратного распространения.
- •Проход вперед.
- •Обратный проход.
- •Подстройка весов скрытого слоя.
- •Импульс.
- •Экспоненциальное сглаживание.
- •Трудности обучения сети обратного распространения. Паралич сети
- •Локальные минимумы
- •Размер шага
- •Временная неустойчивость
- •Слой Гроссберга.
- •Режим обучения. Обучение слоя Кохонена.
- •Предварительная обработка входных сигналов.
- •Выбор начальных значений весовых векторов.
- •Обучение слоя Гроссберга.
- •Полная структура сети встречного распространения.
- •Лекция 7. Стохастические методы обучения. Больцмановское обучение.
- •Стохастические методы обучения
- •Больцмановское обучение
- •Лекция 8.Обучение Коши. Метод искусственной теплоемкости. Комбинированный метод обратного распространения и обучения Коши. Обучение Коши
- •Метод искусственной теплоемкости
- •Комбинированный метод обратного распространения и обучения Коши
- •Лекция 9. Ассоциативные сети. Сети Хопфилда. Свойства сети Хопфилда. Статистические сети Хопфилда. Сеть Хопфилда
- •Структура сети
- •Устойчивость сети Хопфилда
- •Непрерывные сети Хопфилда
- •Статистические сети Хопфилда
- •Алгоритм обучения
- •Свойства сети Хопфилда
- •Лекция 10. Сеть Хэмминга. Двунаправленная ассоциативная память. Емкость памяти. Сеть Хэмминга
- •Структура сети
- •Алгоритм функционирования
- •Сравнение с сетью Хопфилда
- •Двунаправленная ассоциативная память
- •Функционирование сети
- •Обучение сети
- •Емкость памяти
- •Непрерывная дап
- •Адаптивная дап
- •Лекция 11. Адаптивная резонансная теория. Проблема стабильности-пластичности в инс.
- •Архитектура apt
- •Лекция 12. Функционирование и обучения сети арт. Теоремы арт. Функционирование сетей apt
- •Характеристики (теоремы) сети арт
- •Лекции 13. Проблемы реализации инс. Нейрокомпьютеры. Основные направления реализации нейросетей. Оценка производительности нейрокомпьютеров.
- •Реализация инс аппаратными средствами
- •Особенности аппаратной реализации нейросетей
- •Лекции 14. Аппаратная реализация на примере нейрочипа NeuroMatrix nm6403. Пример аппаратной реализации (нейрочип NeuroMAtrix nm6403 нтц «Модуль») Выбор и обоснование принципов построения нейрочипа
- •Архитектура нейрочипа
- •Aрхитектурныe основы построения нейросистем на базе нейрочипа
- •Лекции 15. Программная реализация нейросетей . Программная реализация нейросетей
- •Основные функциональные возможности программ моделирования нейронных сетей.
- •Формирование (создание) нейронной сети
- •Обучение нейронной сети
- •Тестирование обученной нейронной сети
- •Лекции 16. Программная реализация нейросетей на примере модели процессорного элемента NeuralWorks. Модель процессорного элемента нейропакета NeuralWorks Professional II
- •Этапы функционирования процессорного элемента.
- •Литература
Определение инс, свойства инс, достоинства, недостатки
Под нейронной сетью понимают параллельную связную сеть простых (обычно адаптивных) элементов, которая взаимодействует с объектами реального мира аналогично биологической нервной системе.
Под нейрокомпьютером понимают совокупность аппаратных и программных средств для реализации моделей нейронных сетей.
Искусственные нейронные сети состоят из элементов, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы затем организуются по способу, который может соответствовать (или не соответствовать) анатомии мозга. Несмотря на такое поверхностное сходство, искусственные нейронные сети демонстрируют удивительное число свойств, присущих мозгу. Например, они обучаются на основе опыта, обобщают предыдущие прецеденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей излишние данные.
Несмотря на такое функциональное сходство, даже самый оптимистичный их защитник не предположит, что в скором будущем искусственные нейронные сети будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями, находится ниже уровня дождевого червя или мухи, и энтузиазм должен быть умерен в соответствии с современными реалиями. Однако равным образом было бы неверно игнорировать удивительное сходство в функционировании нейронных сетей с человеческим мозгом.
1. Обучение
Искусственные нейронные сети могут менять свое поведение в зависимости от внешней среды. Этот фактор в большей степени, чем любой другой, ответствен за тот интерес, который они вызывают. После предъявления входных сигналов (возможно, вместе с требуемыми выходами) они самонастраиваются, чтобы обеспечивать требуемую реакцию. Было разработано множество обучающих алгоритмов, каждый со своими сильными и слабыми сторонами. Однако все еще существуют проблемы относительно того, чему сеть может обучиться и как обучение должно проводиться.
2.Обобщение
Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта внутренне присущая способность видеть образ сквозь шум и искажения жизненно важна для распознавания образов в реальном мире. Она позволяет преодолеть требование строгой точности, предъявляемое обычным компьютером, и открывает путь к системе, которая может иметь дело с тем несовершенным миром, в котором мы живем. Важно отметить, что искусственная нейронная сеть делает обобщения автоматически благодаря своей структуре, а не с помощью использования «человеческого интеллекта» в форме специально написанных компьютерных программ.
3. Абстрагирование
Некоторые из искусственных нейронных сетей обладают способностью извлекать сущность из входных сигналов. Например, сеть может быть обучена на последовательности искаженных версий буквы А. Предъявление такого искаженного примера приведет к тому, что сеть породит букву совершенной формы. В некотором смысле она научится порождать то, что никогда не видела.
4.Применимость
Искусственные нейронные сети не являются панацеей. Они, очевидно, не годятся для выполнения таких задач, как начисление заработной платы. Похоже, однако, что им будет отдаваться предпочтение в большом классе задач распознавания образов, с которыми плохо или вообще не справляются обычные компьютеры.
Специалисты считают, что нейронные сети обладают следующими достоинствами:
1) толерантность по отношению к ошибкам из-за большого параллелизма в обработке данных; ошибка или отключение части сети для ее устранения не приводят к отказу сети, а лишь могут снизить качество передачи информации;
2) нейронная сеть не требует традиционного программирования, поскольку самообучается решению различных задач.
Недостатки:
1) В то же время обучение требует организации специальных наборов данных для обучения и затрат времени.
2) К недостаткам относят также невозможность решения задач, требующих высокой точности.