- •Лекция 1. История развития нейронных сетей. Определение инс, свойства инс, достоинства, недостатки. Типовые постановки задач, решаемых инс, и области их применения. Исторический аспект
- •Определение инс, свойства инс, достоинства, недостатки
- •1. Обучение
- •2.Обобщение
- •3. Абстрагирование
- •4.Применимость
- •Типовые постановки задач
- •1. Распознавание образов
- •2. Кластеризация данных
- •2.Медицина:
- •3.Авионика:
- •4.Связь:
- •5.Интернет:
- •6.Автоматизация производства:
- •7.Политические технологии:
- •8.Безопасность и охранные системы:
- •9.Ввод и обработка информации:
- •10.Геологоразведка:
- •Лекция 2.Биологический прототип. Модель искусственного нейрона. Функции активации. Классификация нейронных сетей. Основные парадигмы нейронных сетей. Биологический прототип
- •Искусственный нейрон
- •Активационные функции
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Классификация нейронных сетей
- •1. Типы обучения нейросети
- •2. Архитектура связей
- •Нейропарадигмы
- •Лекция 3.Персептрон. Персептронная представляемость. Проблема «Исключающее или». Преодоление ограничения линейной разделимости. Обучение персептрона. Дельта-правило. Персептроны
- •Персептронная представляемость
- •Проблема функции исключающее или
- •Линейная разделимость
- •Преодоление ограничения линейной разделимости
- •Обучение персептрона
- •Трудности с алгоритмом обучения персептрона
- •Лекция 4.Сети с обратным распространением ошибки. Основной элемент сети обратного распространения. Алгоритмы обучения и функционирования.
- •Обучение сети обратного распространения.
- •Проход вперед.
- •Обратный проход.
- •Подстройка весов скрытого слоя.
- •Импульс.
- •Экспоненциальное сглаживание.
- •Трудности обучения сети обратного распространения. Паралич сети
- •Локальные минимумы
- •Размер шага
- •Временная неустойчивость
- •Слой Гроссберга.
- •Режим обучения. Обучение слоя Кохонена.
- •Предварительная обработка входных сигналов.
- •Выбор начальных значений весовых векторов.
- •Обучение слоя Гроссберга.
- •Полная структура сети встречного распространения.
- •Лекция 7. Стохастические методы обучения. Больцмановское обучение.
- •Стохастические методы обучения
- •Больцмановское обучение
- •Лекция 8.Обучение Коши. Метод искусственной теплоемкости. Комбинированный метод обратного распространения и обучения Коши. Обучение Коши
- •Метод искусственной теплоемкости
- •Комбинированный метод обратного распространения и обучения Коши
- •Лекция 9. Ассоциативные сети. Сети Хопфилда. Свойства сети Хопфилда. Статистические сети Хопфилда. Сеть Хопфилда
- •Структура сети
- •Устойчивость сети Хопфилда
- •Непрерывные сети Хопфилда
- •Статистические сети Хопфилда
- •Алгоритм обучения
- •Свойства сети Хопфилда
- •Лекция 10. Сеть Хэмминга. Двунаправленная ассоциативная память. Емкость памяти. Сеть Хэмминга
- •Структура сети
- •Алгоритм функционирования
- •Сравнение с сетью Хопфилда
- •Двунаправленная ассоциативная память
- •Функционирование сети
- •Обучение сети
- •Емкость памяти
- •Непрерывная дап
- •Адаптивная дап
- •Лекция 11. Адаптивная резонансная теория. Проблема стабильности-пластичности в инс.
- •Архитектура apt
- •Лекция 12. Функционирование и обучения сети арт. Теоремы арт. Функционирование сетей apt
- •Характеристики (теоремы) сети арт
- •Лекции 13. Проблемы реализации инс. Нейрокомпьютеры. Основные направления реализации нейросетей. Оценка производительности нейрокомпьютеров.
- •Реализация инс аппаратными средствами
- •Особенности аппаратной реализации нейросетей
- •Лекции 14. Аппаратная реализация на примере нейрочипа NeuroMatrix nm6403. Пример аппаратной реализации (нейрочип NeuroMAtrix nm6403 нтц «Модуль») Выбор и обоснование принципов построения нейрочипа
- •Архитектура нейрочипа
- •Aрхитектурныe основы построения нейросистем на базе нейрочипа
- •Лекции 15. Программная реализация нейросетей . Программная реализация нейросетей
- •Основные функциональные возможности программ моделирования нейронных сетей.
- •Формирование (создание) нейронной сети
- •Обучение нейронной сети
- •Тестирование обученной нейронной сети
- •Лекции 16. Программная реализация нейросетей на примере модели процессорного элемента NeuralWorks. Модель процессорного элемента нейропакета NeuralWorks Professional II
- •Этапы функционирования процессорного элемента.
- •Литература
Типовые постановки задач
Предполагается, что нейронные сети будут использоваться для задач, объединенных тремя признаками:
1. Известно, как эти задачи решаются людьми.
2. Могут быть представлены примеры выполнения задачи.
3. Каждая задача включает ассоциацию объектов одного множества с объектами другого множества.
Нейронные сети предпочтительнее при решении задач, для которых не существует формализованного алгоритма или решение по алгоритму занимает слишком много времени, а также при обработке нечеткой и неполной информации.
Нейросетевой nодход к решению плохо формализуемых задач прогнозирования, распознавания, классификации показал свою эффективность на практически важных проблемах. Безусловно, это "узкий" класс математических постановок практически важных задач. Представим типовые постановки этих задач.
1. Распознавание образов
Задача состоит в отнесении входного набора данных, представляющего распознаваемый объект, к одному из заранее известных классов. В число этих задач входит распознавание рукописных и печатных символов при оптическом вводе в ЭВМ, paспознавание типов клеток крови, распознавание речи и другие.
2. Кластеризация данных
Задача состоит в группировке входных данных по присущей им "близости". Алгоритм определения близости данных (определение расстояния между векторами, вычисление коэффициента корреляции и другие способы) закладывается в нейросеть при ее построении. Сеть кластеризует данные на заранее неизвестное число кластеров. Наиболее известные применения кластеризации связаны с сжатием данных, анализом данных и поиском в них закономерностей.
3.Аппроксимация функций
Имеется набор экспериментальных данных {( X1,Yl) , . . (Xn, Yn) }, представляющий значения Yi неизвестной функции от аргумента Xi, i=1,..,n. Требуется найти функцию, аппроксимирующую неизвестную и удовлетворяющую некоторым критериям. Эта задача актуальна при моделировании сложных систем и создании систем управления сложными динамическими объектами.
4. Предсказание
Имеется набор {у(tl),у(t2),...,у(tn)} значений у, представляющих поведение системы в моменты времени t1, ..., tn. Требуется по предыдущему поведению системы предсказать ее поведение y(t n+1) в момент времени t n+1. Эта задача актуальна для управления складскими запасами, систем принятия решений.
5. Оптимизация
Цель этих задач: найти решение NP-полной проблемы, удовлетворяющее ряду ограничений и оптимизирующее значение целевой функции. К числу таких задач относится, например, задача коммивояжера. Задача формулируется следующим образом: для некоторой группы городов с заданными расстояниями между ними требуется найти кратчайший маршрут с посещением каждого города и с возвращением в исходную точку.
6. Ассоциативная память
Эта память позволяет считывать содержимое по частичному или искаженному представлению входных данных. Основная область применения - мультимедийные базы данных.
Области применения
Наверное, в каждой предметной области, при ближайшем рассмотрении, можно найти постановки нейросетевых задач.
1.Экономика и бизнес:
предсказание рынков, автоматический дилинг, оценка риска невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление пере- и недооцененных компаний, автоматическое рейтингование, оптимизация портфелей, оптимизация товарных и денежных потоков, автоматическое считывание чеков и форм, безопасность транзакций по пластиковым карточкам.
Программное обеспечение компании RETEK, дочерней фирмы HNC Software, - лидер среди крупных продавцов с оборотом свыше $1 млрд. Ее последний продукт января 1998 года Retek Predictive Enterprise Solution включает развитые средства нейросетевого анализа больших потоков данных, характерных для крупной розничной торговли. Он также содержит прогнозный блок, чтобы можно было заранее просчитать последствия тех или иных решений. (http://www.retek.com)