- •Введение
- •Формальный нейрон. Типология нейронов. Задача, решаемая нейроном, геометрическая интерпретация.
- •Формальный нейрон.
- •Типология нейронов.
- •Геометрическая интерпретация задачи нейрона.
- •Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей. Основные классы задач, решаемых нейронными сетями.
- •задачи
- •Задача обучения нейронной сети, отличие от задачи обучения нейрона. Проблемы. Примеры алгоритмов и методов обучения.
- •Градиентные методы.
- •Математическое обоснование метода обратного распространения ошибки. Алгоритм обратного распространения ошибки.
- •Вывод формулы для расчёта адаптивного коэффициента обучения в алгоритме обратного распространения ошибки.
- •Вывод формулы для расчёта адаптивного шага обучения для нерекуррентной линейной нейронной сети.
- •Алгоритм послойного обучения. Назначение и отличие от алгоритма обратного распространения ошибки.
- •Алгоритм многократного распространения ошибки. Назначение и отличие от алгоритма обратного распространения ошибки.
- •Задача предсказания числовых последовательностей с помощью нейронных сетей. Особенности устройства нейронных сетей для предсказания числовых последовательностей.
- •Реккурентные нейронные сети. Контекстный нейрон. Обучение. Сеть Элмана. Сеть Джордана.
- •Рециркуляционные нейронные сети. Линейная рециркуляционная сеть. Задача, решаемая линейной рециркуляционной сетью (метод главных компонент).
- •Алгоритмы обучения и функционирования линейной рециркуляционной сети.
- •Релаксационные нейронные сети. Синхронная сеть Хопфилда. Непрерывное и дискретное состояние. Структура, обучение, энергия, функционирование.
- •Сеть Хэмминга. Назначение, обучение и функционирование.
- •Линейная ассоциативная память и ассоциативная память на основе сети Хопфилда. Функционирование, отличие.
- •Двунаправленная ассоциативная память. Назначение, структура, обучение и функционирование.
- •Двунаправленная ассоциативная память. Метод обучения двунаправленной ассоциативной памяти с модифицированной структурой.
- •Сеть адаптивного резонанса. Назначение, структура, обучение и функционирование.
- •СТРУКТУРА APT
- •Функционирование сети APT в процессе классификации
- •ФУНКЦИОНИРОВАНИЕ APT
- •ПРИМЕР ОБУЧЕНИЯ СЕТИ APT
- •ЗАКЛЮЧЕНИЕ
- •Устройство и структура нейронных сетей для решения задач классификации и кластеризации. Правила обучения: WTA и CWTA.
- •Структура когнитрона, неокогнитрона и свёрточных нейронных сетей, отличия. Назначение когнитрона, неокогнитрона и свёрточных нейронных сетей.
- •Обучение
- •НЕОКОГНИТРОН
- •Обобщение
- •Вычисления
- •Обучение
- •Псевдооптическая нейронная сеть. Интерферирующий нейрон, устройство. Назначение, структура и функционирование сети.
- •Машина Больцмана, назначение. Устройство и функционирование.
- •Предетекторы и детекторы. Поле (карта) детекторов. Детекторы новизны и тождества. Схема активного анализа на основе нейроподобных элементов.
- •Аппаратная реализация нейронных сетей. Процедура проектирования систолических массивов (процессоров), на основе структуры сети.
- •Систолические процессоры для двухслойной нейронной сети (первый слой – рецепторы). Эффективность. Предпочтение по эффективности.
- •Систолический массив с разнонаправленными связями. Сравнение по эффективности с процессорами с однонаправленными связями.
- •Матричный систолический процессор. Сравнение по эффективности.
- •Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего различные систолические процессоры. Эффективность.
- •Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего идентичные систолические процессоры. Эффективность.
- •Систолические процессоры для реализации релаксационных нейронных сетей (сети Хопфилда).
- •Методы обеспечения отказоустойчивости. Скользящее резервирование.
- •Методы обеспечения отказоустойчивости. Секционированное резервирование. Схема для неоднородного потока входных данных.
- •Нечёткие нейронные сети. Структура, функционирование, обучение.
- •Литература.
результате даже незначительные изменения одного образа будут создавать отдельные новые категории. Количество категорий увеличивается, все доступные нейроны распределяются, и способность системы к восприятию новых данных теряется. Наоборот, если критерий сходства слишком мал, сильно различающиеся образы будут группироваться вместе, искажая запомненный образ до тех пор, пока
врезультате не получится очень малое сходство с одним из них.
Ксожалению, отсутствует теоретическое обоснование выбора критерия сходства, в каждом конкретном случае необходимо решить, какая степень сходства должна быть принята для отнесения образов к одной категории. Границы между категориями часто неясны, и решение задачи для большого набора входных векторов может быть чрезмерно трудным.
ЗАКЛЮЧЕНИЕ
Сети APT являются интересным и важным видом систем. Они способны решить дилемму стабильности-пластичности и хорошо работают с других точек зрения. Архитектура APT сконструирована по принципу биологического подобия; это означает, что ее механизмы во многом соответствуют механизмам мозга (как мы их понимаем). Однако они могут оказаться не в состоянии моделировать распределенную память, которую многие рассматривают как важную характеристику функций мозга. Экземпляры APT представляют собой «бабушкины узелки»; потеря одного узла разрушает всю память. Память мозга, напротив, распределена по веществу мозга, запомненные образы могут часто пережить значительные физические повреждения мозга без полной их потери.
Кажется логичным изучение архитектур, соответствующих нашему пониманию организации и функций мозга. Человеческий мозг представляет существующее доказательство того факта, что решение проблемы распознавания образов возможно. Кажется разумным эмулировать работу мозга, если мы хотим повторить его работу. Однако контраргументом является история полетов; человек не смог оторваться от земли до тех пор, пока не перестал имитировать движения крыльев и полет птиц.
Устройство и структура нейронных сетей для решения задач классификации и кластеризации. Правила обучения: WTA и CWTA.
Чаще всего для классификации векторов применяются нейроны типа WTA (англ.: Winner Takes All – Победитель получает все). Выходной сигнал такого нейрона определяется согласно формуле
ui = ∑Nj=0 wij xj |
(163) |
Группа конкурирующих между собой нейронов (рис. 30) получает одни и те же входные сигналы X. В зависимости от фактических значений весовых коэффициентов суммарные сигналы ui отдельных нейронов могут различаться. По результатам сравнения этих сигналов победителем признается нейрон, значение ui у которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные (проигравшие) нейроны переходят в состояние 0.
Рис. 30. Схема соединения нейронов типа WTA
Для обучения нейронов типа WTA не требуется учитель. На начальном этапе случайным образом выбираются весовые коэффициенты каждого нейрона, нормализуемые относительно 1. После подачи первого входного вектора X определяется победитель этапа. Победивший в этом соревновании нейрон переходит в состояние 1, что позволяет ему провести уточнение весов его входных линий wij (правилу Гроссберга):
wij (t +1) = wij (t) +ηyi [xj −wij (t)] |
(164) |
где η – это коэффициент обучения, значение которого, как правило, выбирается из интервала (0,1).
Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения их весовых коэффициентов. Вследствие бинарности значений выходных сигналов конкурирующих нейронов (0 или 1) правило Гроссберга может быть несколько упрощено:
wij (t +1) = wij (t) +η[xj −wij (t)] |
(165) |
На функционирование нейронов типа WTA оказывает существенное влияние нормализация входных векторов и весовых коэффициентов. Выходной сигнал ui, i- го нейрона в соответствии с формулой
u |
i |
= wT x |
2 |
= xT x |
2 |
= |
|
|
|
x |
|
|
|
|
|
|
|
x |
2 |
|
|
|
cosϕ |
(166) |
||||||||||||||
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
12 |
|
|||||||||
может быть описан векторным отношением |
(167) |
|||||||||||||||||||||||||||||||||||||
u |
i |
= wT x |
2 |
= |
|
|
|
w |
|
|
|
|
|
|
|
x |
2 |
|
|
cosϕ |
i |
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Поскольку ||w|| = ||x|| = 1, значение ui определяется углом между векторами X и W, ui = cos φi,. Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обучающему вектору X. В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям текущего обучающего вектора X. Если на вход сети будет подаваться множество близких по значениям векторов, побеждать будет один и тот же нейрон. Поэтому его веса станут равными усредненным значениям тех входных векторов, благодаря которым данный нейрон оказался победителем. Проигравшие нейроны не изменяют свои веса. Только победа при очередном представлении входного вектора позволит им произвести уточнение весовых коэффициентов и продолжить процесс обучения в случае еще одной победы.
Следствием такой конкуренции становится самоорганизация процесса обучения. Нейроны уточняют свои веса таким образом, что при предъявлении группы близких по значениям входных векторов победителем всегда оказывается
один и тот же нейрон. В процессе функционирования именно этот нейрон благодаря соперничеству распознает свою категорию входных данных.
Рис. 31. Нейронная сеть типа WTA
Рис. 32. Процесс обучения изображённой выше сети WTA
Серьезной проблемой при обучении WTA остается проблема мертвых нейронов, которые после инициализации ни одного раза не победили в конкурентной борьбе и остались в состоянии, сформированном в начальный момент времени. Каждый мертвый нейрон уменьшает эффективное количество элементов, прошедших обучение, и соответственно увеличивает общую погрешность распознавания данных. Для разрешения этой проблемы применяется модифицированное обучение (CWTA), основанное на учете прошлых побед каждого нейрона и штрафовании (временной дисквалификации) тех из них, которые побеждали чаще всего. Дисквалификация слишком активных нейронов может осуществляться либо назначением порогового числа побед, по достижении которого наступает обязательная пауза, либо уменьшением фактического значения ui, при нарастании количества побед i-го нейрона.