
- •Нейрокомпьютерная техника: Теория и практика
- •Предисловие
- •Благодарности
- •Введение
- •Почему именно искусственные нейронные сети?
- •Свойства искусственных нейронных сетей
- •Обучение
- •Обобщение
- •Абстрагирование
- •Применимость
- •Исторический аспект
- •Искусственные нейронные сети сегодня
- •Перспективы на будущее
- •Искусственные нейронные сети и экспертные системы
- •Соображения надежности
- •Литература
- •Глава 1. Основы искусственных нейронных сетей
- •Биологический прототип
- •Искусственный нейрон
- •Активационные функции
- •Однослойные искусственные нейронные сети
- •Многослойные искусственные нейронные сети
- •Нелинейная активационная функция
- •Сети с обратными связями
- •Терминология, обозначения и схематическое изображение искусственных нейронных сетей
- •Терминология
- •Дифференциальные уравнения или разностные уравнения
- •Графическое представление
- •Обучение искусственных нейронных сетей
- •Цель обучения
- •Обучение с учителем
- •Обучение без учителя
- •Алгоритмы обучения
- •Литература
- •Глава 2. Персептроны персептроны и зарождение искусственных нейронных сетей
- •Персептронная представляемость
- •Проблема функции исключающее или
- •Линейная разделимость
- •Преодоление ограничения линейной разделимости
- •Эффективность запоминания
- •Обучение персептрона
- •Алгоритм обучения персептрона
- •Дельта-правило
- •Трудности с алгоритмом обучения персептрона
- •Литература
- •Глава 3. Процедура обратного распространения
- •Введение в процедуру обратного распространения
- •Обучающий алгоритм обратного распространения
- •Сетевые конфигурации
- •Многослойная сеть.
- •Обзор обучения
- •Дальнейшие алгоритмические разработки
- •Применения
- •Предостережение
- •Паралич сети
- •Локальные минимумы
- •Размер шага
- •Временная неустойчивость
- •Литература
- •Глава 4. Сети встречного распространения
- •Введение в сети встречного распространения
- •Структура сети
- •Нормальное функционирование
- •Слои Кохоненна
- •Слой Гроссберга
- •Обучение слоя кохонена
- •Предварительная обработка входных векторов
- •Выбор начальных значений весовых векторов
- •Режим интерполяции
- •Статистические свойства обученной сети
- •Обучение слоя гроссберга
- •Сеть встречного распространения полностью
- •Приложение: сжатие данных
- •Обсуждение
- •Литература
- •Глава 5. Стохастические методы
- •Использование обучения
- •Больцмановское обучение
- •Обучение Коши
- •Метод искусственной теплоемкости
- •Приложения к общим нелинейным задачам оптимизации
- •Обратное распространение и обучение коши
- •Трудности, связанные с обратным распространением
- •Трудности с алгоритмом обучения Коши
- •Комбинирование обратного распространения с обучением Коши
- •Обсуждение
- •Литература
- •Глава 6. Сети Хопфилда
- •Конфигурации сетей с обратными связями
- •Бинарные системы
- •Устойчивость
- •Ассоциативная память
- •Непрерывные системы
- •Сети Хопфилда и машина Больцмана
- •Термодинамические системы
- •Статистичекие сети Хопфилда
- •Обобщенные сети
- •Приложения
- •Аналого-цифровой преобразователь
- •Задача коммивояжера
- •Обсуждение
- •Локальные минимумы
- •Скорость
- •Функция энергии
- •Емкость сети
- •Литература
- •Глава 7. Двунаправленная ассоциативная память
- •Структура дап
- •Восстановление запомненных ассоциаций
- •Кодирование ассоциаций
- •Емкость памяти
- •Непрерывная дап
- •Адаптивная дап
- •Конкурирующая дап
- •Заключение
- •Литература
- •Глава 8. Адаптивная резонансная теория
- •Архитектура apt
- •Описание apt
- •Упрощенная архитектура apt
- •Функционирование сети apTв процессе классификации
- •Реализация apt
- •Функционирование сетей apt
- •Пример обучения сети apt
- •Характеристики apt
- •Инициализация весовых векторов т
- •Настройка весовых векторов Вj
- •Инициализация весов bij
- •Теоремы apt
- •Заключение
- •Литература
- •Глава 9. Оптические нейронные сети
- •Векторно-матричные умножители
- •Электронно-оптические матричные умножители
- •Сети Хопфилда на базе электронно-оптических матричных умножителей
- •Голографические корреляторы
- •Объемные голограммы
- •Оптическая сеть Хопфилда, использующая объемные голограммы
- •Заключение
- •Литература
- •Глава 10. Когнитрон и неокогнитрон
- •Когнитрон
- •Структура
- •Обучение
- •Неокогнитрон
- •Структура
- •Обобщение
- •Вычисления
- •Обучение
- •Заключение
- •Литература
- •Приложение а. Биологические нейронные сети
- •Человеческий мозг: биологическая модель для искусственных нейронных сетей
- •Организация человеческого мозга
- •Мембрана клетки
- •Компьютеры и человеческий мозг
- •Приложение б. Алгоритмы обучения
- •Обучение с учителем и без учителя
- •Метод обучения хэбба
- •Алгоритм обучения Хэбба
- •Метод сигнального обучения Хэбба
- •Метод дифференциального обучения Хэбба
- •Входные и выходные звезды
- •Обучение входной звезды
- •Обучение выходной звезды
- •Обучение персептрона
- •Метод обучения уидроу-хоффа
- •Методы статистического обучения
- •Самоорганизация
- •Литература
Голографические корреляторы
Существует множество вариантов реализации голографических корреляторов и тем не менее их основные принципы функционирования очень схожи. Все они запоминают образцовые изображения в виде либо плоской, либо объемной голограммы и восстанавливают их при когерентном освещении в петле обратной связи. Входное изображение, которое может быть зашумленным или неполным, подается на вход системы и одновременно коррелируется оптически со всеми запомненными образцовыми изображениями. Эти корреляции обрабатываются пороговой функцией и подаются обратно на вход системы, где наиболее сильные корреляции усиливают (и, возможно, корректируют или завершают) входное изображение. Усиленное изображение проходит через систему многократно, именяясь при каждом проходе до тех пор, пока система не стабилизируется на требуемом изображении. Заметим, что для описания распознаваемых образов использовался термин «изображение». Хотя распознавание изображений является наиболее адекватным приложением для оптических корреляторов, вход системы может рассматриваться как обобщенный вектор и система при этом становится общецелевой ассоциативной памятью.
Многие исследователи сделали большой вклад в развитие голографических корреляторов и лежащей в их основе теории. Например, в работах [2,4,8] проведены превосходные исследования. В работе [1] рассмотрена впечатляющая система, являющаяся основой следующего ниже обсуждения.
Рис. 9.6. Оптическая система распознавания изображений
В конфигурации, показанной на рис. 9.6, входом в систему является изображение, сформированое транспарантом, освещенным лазерным лучом. Это изображение через делитель луча передается на пороговое устройство, функции которого описаны ниже. Изображение отражается от порогового устройства, возвращается на делитель луча и затем попадает на линзу 1, которая фокусирует его на первой голограмме.
Первая голограмма содержит несколько запомненных изображений (например, изображения четырех самолетов). Входное изображение коррелируется с каждым из них, образуя световые образы. Яркость этих образов изменяется в зависимости от степени корреляции, определяющей сходство между двумя изображениями. Линза 2 и отражатель 1 проектируют изображение корреляций на микроканальный массив, где они пространственно разделяются. С микроканального массива множество световых образов передается на отражатель 2 через линзу 3 и затем прикладывается ко второй голограмме, которая имеет те же запомненные изображения, что и первая голограмма. Линза 4 и отражатель 3 затем передают суперпозицию множества коррелированных изображений на обратную сторону порогового устройства.
Пороговое устройство является ключевым для функционирования этой системы. Его передняя поверхность отражает наиболее сильно тот образ, который является самым ярким на его обратной поверхности. В данном случае на обратную поверхность проектируется набор из четырех корреляций каждого из четырех запомненных изображений с входным изображением. Запомненное изображение, наиболее похожее на входное изображение, имеет самую высокую корреляцию, следовательно, оно будет самым ярким и наиболее сильно отражаемым от передней поверхности. Это усиленное отраженное изображение проходит через делитель луча, после чего повторно вводится в систему для дальнейшего усиления. В результате система будет сходится к запомненному изображению, наиболее похожему на входной вектор. После этого можно убрать входной образ, и запомненный образ будет продолжать циркулировать в системе, производя выходное изображение, до сброса системы.
Записанная на видеоленту демонстрация этой системы показала ее способность восстанавливать полное изображение в случае, когда только часть изображения подается на вход системы. Это свойство имеет важное военное применение, так как распознавание цели часто должно быть выполнено в условиях частичной видимости. Кроме того, возможны многие другие промышленные применения, распознавание объектов как множества линий является задачей, решаемой на протяжении многих лет.
Несмотря на потенциальные возможности оптических корреляторов, качество изображения в существующих системах является невысоким, а их сложность и стоимость высоки. Кроме того, в настоящее время оптические корреляторы имеют большие размеры и трудны в наладке. Большие потенциальные возможности оптических корреляторов будут стимулировать проведение исследований по совершенствованию таких систем, однако в настоящее время многие вопросы остаются без ответа, несмотря на их практическое значение.