- •Лекция 1. История развития нейронных сетей. Определение инс, свойства инс, достоинства, недостатки. Типовые постановки задач, решаемых инс, и области их применения. Исторический аспект
- •Определение инс, свойства инс, достоинства, недостатки
- •1. Обучение
- •2.Обобщение
- •3. Абстрагирование
- •4.Применимость
- •Типовые постановки задач
- •1. Распознавание образов
- •2. Кластеризация данных
- •2.Медицина:
- •3.Авионика:
- •4.Связь:
- •5.Интернет:
- •6.Автоматизация производства:
- •7.Политические технологии:
- •8.Безопасность и охранные системы:
- •9.Ввод и обработка информации:
- •10.Геологоразведка:
- •Лекция 2.Биологический прототип. Модель искусственного нейрона. Функции активации. Классификация нейронных сетей. Основные парадигмы нейронных сетей. Биологический прототип
- •Искусственный нейрон
- •Активационные функции
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Классификация нейронных сетей
- •1. Типы обучения нейросети
- •2. Архитектура связей
- •Нейропарадигмы
- •Лекция 3.Персептрон. Персептронная представляемость. Проблема «Исключающее или». Преодоление ограничения линейной разделимости. Обучение персептрона. Дельта-правило. Персептроны
- •Персептронная представляемость
- •Проблема функции исключающее или
- •Линейная разделимость
- •Преодоление ограничения линейной разделимости
- •Обучение персептрона
- •Трудности с алгоритмом обучения персептрона
- •Лекция 4.Сети с обратным распространением ошибки. Основной элемент сети обратного распространения. Алгоритмы обучения и функционирования.
- •Обучение сети обратного распространения.
- •Проход вперед.
- •Обратный проход.
- •Подстройка весов скрытого слоя.
- •Импульс.
- •Экспоненциальное сглаживание.
- •Трудности обучения сети обратного распространения. Паралич сети
- •Локальные минимумы
- •Размер шага
- •Временная неустойчивость
- •Слой Гроссберга.
- •Режим обучения. Обучение слоя Кохонена.
- •Предварительная обработка входных сигналов.
- •Выбор начальных значений весовых векторов.
- •Обучение слоя Гроссберга.
- •Полная структура сети встречного распространения.
- •Лекция 7. Стохастические методы обучения. Больцмановское обучение.
- •Стохастические методы обучения
- •Больцмановское обучение
- •Лекция 8.Обучение Коши. Метод искусственной теплоемкости. Комбинированный метод обратного распространения и обучения Коши. Обучение Коши
- •Метод искусственной теплоемкости
- •Комбинированный метод обратного распространения и обучения Коши
- •Лекция 9. Ассоциативные сети. Сети Хопфилда. Свойства сети Хопфилда. Статистические сети Хопфилда. Сеть Хопфилда
- •Структура сети
- •Устойчивость сети Хопфилда
- •Непрерывные сети Хопфилда
- •Статистические сети Хопфилда
- •Алгоритм обучения
- •Свойства сети Хопфилда
- •Лекция 10. Сеть Хэмминга. Двунаправленная ассоциативная память. Емкость памяти. Сеть Хэмминга
- •Структура сети
- •Алгоритм функционирования
- •Сравнение с сетью Хопфилда
- •Двунаправленная ассоциативная память
- •Функционирование сети
- •Обучение сети
- •Емкость памяти
- •Непрерывная дап
- •Адаптивная дап
- •Лекция 11. Адаптивная резонансная теория. Проблема стабильности-пластичности в инс.
- •Архитектура apt
- •Лекция 12. Функционирование и обучения сети арт. Теоремы арт. Функционирование сетей apt
- •Характеристики (теоремы) сети арт
- •Лекции 13. Проблемы реализации инс. Нейрокомпьютеры. Основные направления реализации нейросетей. Оценка производительности нейрокомпьютеров.
- •Реализация инс аппаратными средствами
- •Особенности аппаратной реализации нейросетей
- •Лекции 14. Аппаратная реализация на примере нейрочипа NeuroMatrix nm6403. Пример аппаратной реализации (нейрочип NeuroMAtrix nm6403 нтц «Модуль») Выбор и обоснование принципов построения нейрочипа
- •Архитектура нейрочипа
- •Aрхитектурныe основы построения нейросистем на базе нейрочипа
- •Лекции 15. Программная реализация нейросетей . Программная реализация нейросетей
- •Основные функциональные возможности программ моделирования нейронных сетей.
- •Формирование (создание) нейронной сети
- •Обучение нейронной сети
- •Тестирование обученной нейронной сети
- •Лекции 16. Программная реализация нейросетей на примере модели процессорного элемента NeuralWorks. Модель процессорного элемента нейропакета NeuralWorks Professional II
- •Этапы функционирования процессорного элемента.
- •Литература
Характеристики (теоремы) сети арт
1. Быстрый доступ к предварительно запомненным образам, обусловленный тем, что после стабилизации процесса обучения предъявление одного из обучающих векторов (или вектора с существенными характеристиками категории) будет активизировать требуемый нейрон слоя распознавания без поиска.
2. Устойчивость процесса поиска, так как после определения выигравшего нейрона в сети не будет возбуждений других нейронов в распознающем слое без сигнала сброса.
3. Конечность процесса обучения, обусловленная стабильным набором весов; повторяющиеся последовательности обучающих векторов не будут приводить к циклическому изменению весов.
Сети APT являются интересным и важным видом систем. Они способны решить дилемму стабильности-пластичности и хорошо работают с других точек зрения. Архитектура APT сконструирована по принципу биологического подобия; это означает, что ее механизмы во многом соответствуют механизмам мозга (как мы их понимаем). Однако они могут оказаться не в состоянии моделировать распределенную память, которую многие рассматривают как важную характеристику функций мозга.
Лекции 13. Проблемы реализации инс. Нейрокомпьютеры. Основные направления реализации нейросетей. Оценка производительности нейрокомпьютеров.
Нейрокомпьютер - совокупность аппаратных и программных средств для реализации нейронных сетей.
Реализация инс аппаратными средствами
Сравнение аппаратных средств, интерпретирующих нейросетевые алгоритмы, затруднено в связи с большим разнообразием параметров:
числом интерпретируемых нейронов;
числом интерпретируемых связей;
точностью представления входов, выходов и весовых коэффициентов;
точностью схем умножения и сложения (особенно при аналоговой реализации).
Принятой в нейрокомпьютерном мире единицей измерения производительности является «соединение в секунду» (CPS – connections per second). Под соединением понимается умножение входа на вес и сложение с накопленной суммой.
Другим показателем, оценивающим скорость обучения, служит число измененных значений весов в секунду (CUPS – connections upgrading per second).
Аппаратные средства реализации нейросетей делятся на:
Нейрочипы;
Нейроускорители;
Нейрокомпьютеры.
В свою очередь нейрочипы могут быть:
цифровые,
аналоговые
гибридные.
Цифровые нейрочипы делятся на несколько групп:
нейрочипы с нейросетевой архитектурой;
кристаллы для систолических систем;
классифицирующие нейросети.
Нейрочипы с нейросетевой архитектурой специализированы на выполнение нейровычислений, поэтому наибольшую проблему при их создании представляют схемы умножения, так как именно они лимитируют скорость вычислений.
Кристаллы для систолических систем – это кристаллы с меньшей степенью специализации для нейровычислений и представляют собой близкие к обычным RISC –процессорам обычно 16 или 32-разрядные процессоры. Систолическая система – сеть процессоров, ритмично обрабатывающих и передающих данные по каналам сети. «Систола» - ритмичное сжатие сердца и артерий. В систолической системе процессоры играют роль, аналогичную сердцу,- каждый процессор регулярно прокачивает через себя данные, выполняя на каждом такте некоторые короткие вычисления так, что в сети поддерживается стационарный поток данных.
Классифицирующие нейросети манипулируют с расстояниями между входным вектором и запомненными прототипными векторами. Если расстояние от протипного вектора не превышает пороговой величины, то входной вектор относится к этому прототипу. Если расстояние между входным вектором и любым прототипным вектором больше пороговой величины, то входной вектор запоминается как прототипный. Если расстояние между входным вектором и несколькими прототипными не превышает пороговой величины, то величина порога этих прототипных векторов уменьшается. Многомерное входное пространство, таким образом, сегментируется на совокупность областей, заданных прототипными векторами.
В аналоговых нейрочипах используются простые физические эффекты для выполнения нейросетевых преобразований. Аналоговые элементы обычно меньше и проще цифровых. С другой стороны, обеспечение необходимой точности требует тщательного проектирования и изготовления.
Гибридные нейрочипы используют комбинацию аналогового и цифрового подходов. Например, входы могут быть аналоговыми, веса загружаться как цифровые, выходы тоже могут быть цифровыми.