
- •Лекция 1. История развития нейронных сетей. Определение инс, свойства инс, достоинства, недостатки. Типовые постановки задач, решаемых инс, и области их применения. Исторический аспект
- •Определение инс, свойства инс, достоинства, недостатки
- •1. Обучение
- •2.Обобщение
- •3. Абстрагирование
- •4.Применимость
- •Типовые постановки задач
- •1. Распознавание образов
- •2. Кластеризация данных
- •2.Медицина:
- •3.Авионика:
- •4.Связь:
- •5.Интернет:
- •6.Автоматизация производства:
- •7.Политические технологии:
- •8.Безопасность и охранные системы:
- •9.Ввод и обработка информации:
- •10.Геологоразведка:
- •Лекция 2.Биологический прототип. Модель искусственного нейрона. Функции активации. Классификация нейронных сетей. Основные парадигмы нейронных сетей. Биологический прототип
- •Искусственный нейрон
- •Активационные функции
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Классификация нейронных сетей
- •1. Типы обучения нейросети
- •2. Архитектура связей
- •Нейропарадигмы
- •Лекция 3.Персептрон. Персептронная представляемость. Проблема «Исключающее или». Преодоление ограничения линейной разделимости. Обучение персептрона. Дельта-правило. Персептроны
- •Персептронная представляемость
- •Проблема функции исключающее или
- •Линейная разделимость
- •Преодоление ограничения линейной разделимости
- •Обучение персептрона
- •Трудности с алгоритмом обучения персептрона
- •Лекция 4.Сети с обратным распространением ошибки. Основной элемент сети обратного распространения. Алгоритмы обучения и функционирования.
- •Обучение сети обратного распространения.
- •Проход вперед.
- •Обратный проход.
- •Подстройка весов скрытого слоя.
- •Импульс.
- •Экспоненциальное сглаживание.
- •Трудности обучения сети обратного распространения. Паралич сети
- •Локальные минимумы
- •Размер шага
- •Временная неустойчивость
- •Слой Гроссберга.
- •Режим обучения. Обучение слоя Кохонена.
- •Предварительная обработка входных сигналов.
- •Выбор начальных значений весовых векторов.
- •Обучение слоя Гроссберга.
- •Полная структура сети встречного распространения.
- •Лекция 7. Стохастические методы обучения. Больцмановское обучение.
- •Стохастические методы обучения
- •Больцмановское обучение
- •Лекция 8.Обучение Коши. Метод искусственной теплоемкости. Комбинированный метод обратного распространения и обучения Коши. Обучение Коши
- •Метод искусственной теплоемкости
- •Комбинированный метод обратного распространения и обучения Коши
- •Лекция 9. Ассоциативные сети. Сети Хопфилда. Свойства сети Хопфилда. Статистические сети Хопфилда. Сеть Хопфилда
- •Структура сети
- •Устойчивость сети Хопфилда
- •Непрерывные сети Хопфилда
- •Статистические сети Хопфилда
- •Алгоритм обучения
- •Свойства сети Хопфилда
- •Лекция 10. Сеть Хэмминга. Двунаправленная ассоциативная память. Емкость памяти. Сеть Хэмминга
- •Структура сети
- •Алгоритм функционирования
- •Сравнение с сетью Хопфилда
- •Двунаправленная ассоциативная память
- •Функционирование сети
- •Обучение сети
- •Емкость памяти
- •Непрерывная дап
- •Адаптивная дап
- •Лекция 11. Адаптивная резонансная теория. Проблема стабильности-пластичности в инс.
- •Архитектура apt
- •Лекция 12. Функционирование и обучения сети арт. Теоремы арт. Функционирование сетей apt
- •Характеристики (теоремы) сети арт
- •Лекции 13. Проблемы реализации инс. Нейрокомпьютеры. Основные направления реализации нейросетей. Оценка производительности нейрокомпьютеров.
- •Реализация инс аппаратными средствами
- •Особенности аппаратной реализации нейросетей
- •Лекции 14. Аппаратная реализация на примере нейрочипа NeuroMatrix nm6403. Пример аппаратной реализации (нейрочип NeuroMAtrix nm6403 нтц «Модуль») Выбор и обоснование принципов построения нейрочипа
- •Архитектура нейрочипа
- •Aрхитектурныe основы построения нейросистем на базе нейрочипа
- •Лекции 15. Программная реализация нейросетей . Программная реализация нейросетей
- •Основные функциональные возможности программ моделирования нейронных сетей.
- •Формирование (создание) нейронной сети
- •Обучение нейронной сети
- •Тестирование обученной нейронной сети
- •Лекции 16. Программная реализация нейросетей на примере модели процессорного элемента NeuralWorks. Модель процессорного элемента нейропакета NeuralWorks Professional II
- •Этапы функционирования процессорного элемента.
- •Литература
Aрхитектурныe основы построения нейросистем на базе нейрочипа
Основными архитектурными особенностями нейрочипа для построения различных параллельных систем являются наличие двух высокоскоростных двунаправленных байтовых коммуникационных портов, аппаратно совместимых с портами сигнального процессора TMS320C40 и поддержка доступа к совместно используемой памяти. Путем объединения нейрочипов различными способами можно добиться реализации большого числа высокопроизводительных параллельных систем разнообразной конфигурации. На рис.38 приведены примеры построения вычислительных сетей на базе нейрочипа.
а)
б)
в)
Рис.38. Примеры построения вычислительных сетей на базе нейрочипа:
а) двунаправленный конвейер (для операций над матрицами, эмуляции нейросетей прямого распространения и других конвейеризированных вычислений),
б) структура типа двумерной решетки (для операций над матрицами и эмуляции нейросетей прямого распространения),
в) двунаправленное кольцо (для эмуляции различных нейросетей, в том числе с обратными связями и многослойных)
Кроме вышеперечисленных возможностей можно также создавать вычислительные сети практически любой конфигурации с использованием сигнального процессора TMS320C40 в качестве коммутирующего элемента.
Примеры такого подхода можно увидеть на рис.39:
а)
б)
Рис.39. Примеры построения вычислительных сетей на базе нейрочипа и TMS320C4x в качестве коммутирующего элемента:
а) структура типа дерева (для эмуляции многослойных нейросетей, а также для задач распознавания образа),
б) структура типа трехмерной решетки (для эмуляции трехмерных нейросетей, а также для задач распознавания образа).
Используемый интерфейс с памятью определяет 3 основные группы архитектур систем на основе нейрочипа (см. рис.40):
а)
б)
в)
Рис.40. Сети с совместно используемой/распределенной памятью:
а) aрхитектура с совместно используемой памятью,
б) архитектура с распределенной памятью,
в) смешанная архитектура .
Архитектура с совместно используемой памятью - глобальная память доступна нескольким нейрочипам. Архитектура с распределенной памятью - каждый нейрочип имеет свою локальную память, а взаимодействие нейрочипов осуществляется через коммуникационные порты. Смешанная архитектура - каждый нейрочип имеет свою локальную память, а также возможность доступа к глобальной памяти вместе с другими нейрочипами.
При объединении небольшого количества нейрочипов в систему можно использовать архитектуру с совместно используемой глобальной памятью, но если число используемых нейрочипов большое, затраты на доступ в глобальную память становятся слишком велики, поэтому рекомендуется архитектура с распределенной памятью.
Нейропроцессор NM6403 благодаря своей универсальности может применяться как базовый элемент для нейроускорителей персональных компьютеров и нейрокомпьютерных параллельных вычислительных систем, аппаратной поддержки операций над матрицами любой размерности, а также в процессорах цифровой обработки сигналов. Возможность работы с данными переменной разрядности, обеспечивает способность нейропроцессора увеличивать производительность с уменьшением разрядности операндов, что позволяет находить оптимальное соотношение точность/производительность.