Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ОНС / конспекты лекций / Конспект_НКС_11-3.docx
Скачиваний:
66
Добавлен:
27.04.2015
Размер:
587.45 Кб
Скачать

Лекция 3 Архитектура нейронных сетей Основные понятия

План

1. Классификация архитектур НС.

2. Особенности решения задач на НС.

2.1. Предобработка данных.

2.2. Оптимизация нейронных сетей.

1. Классификация архитектур нс

Рассмотрим классификацию искусственных нейронных сетей по различным признакам.

1. Вид сигналов в нейронной сети. По используемым сигналам на входах и выходах НС разделяют на аналоговые и бинарные.

2. Характер активационных функций. Если активационная функция одна для всех нейронов сети, то сеть называют однородной. Если же активационная функция зависит еще от некоторых параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

3. Тип активационной функции. По типу активационной функции, используемой на различных слоях НС, различают линейные и нелинейные сети.

Теорема. Любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью (рис. 3.2).

4. Модельное время НС. По модельному времени (моделированию времени) нейронные сети подразделяются на сети с непрерывным и дискретным временем.

5. Способ синхронизации. Как и в любой ВС в нейронных сетях различают два способа синхронизации: – синхронный и асинхронный. При программной реализации на цифровых ЭВМ нейронных сетей вопрос синхронизации не актуален. Для других способов реализации он весьма важен.

6. Топология. Под топологией нейронной сети будем понимать графическую иллюстрацию соединения нейронов между собой в этой сети.

Нейросеть, также как и биологический аналог, должна иметь каналы для связи с внешним миром. Одни каналы обеспечивают поступление информации из внешнего мира на НС, другие выводят информацию из нейросети во внешний мир. Поэтому одни элементы нейронной сети рассматривается как входные, другие же - как выходные. Часть нейронов может не сообщаться с внешним миром, а взаимодействовать с входными, выходными и такими же нейронами ("скрытые" нейроны).

Очевидно, что существует огромное количество способов соединения нейронов, растущее с увеличением числа нейронов в сети.

По этому признаку выделяют две базовые архитектуры НС – однослойные и многослойные сети.

Однослойные нейронные сети

В однослойных сетях нейроны соединяются либо по принципу каждый с каждым - полносвязанные сети, либо регулярно - регулярные сети.

В полносвязных сетях каждый нейрон передает свой выходной сигнал остальным нейронам (рис. 3.3). Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

Если полносвязная сеть функционирует до получения ответа заданное число тактов k, то ее можно представить как частный случай k-слойной сети, все слои которой одинаковы, и каждый из них соответствует такту функционирования полносвязной сети.

Существенное различие между полносвязной и слоистой сетями становится очевидным, когда число тактов функционирования заранее не ограничено – слоистые сети так работать не могут.

В регулярных сетях для каждого нейрона характерна строгая определенность числа связей (рис.3.4). Число связей нейрона зависит от места его расположения в сети. Особенностью сетей с регулярной топологией является один вид функции активации для всех нейронов этой сети.

Регулярная топология нейронной сети, приведенная на рис. 3.4, не является единственной. Возможно другое число связей у угловых, граничных и внутренних нейронов, На рис. 3.5 приведен пример регулярной гексагональной топологии.

Многослойные нейронные сети

В многослойных сетях нейроны группируют по слоям. Внешние слои многослойной сети называют входным и выходным слоями. Внутренние слои называют скрытыми. Число скрытых слоев неограниченно. Слоистые сети описываются неполносвязным ориентированным графом (и часто называются персептронами).

Обычно вектор входных сигналов подается на все нейроны первого слоя сети. Вектор выходных сигналов образуется выходами всех нейронов последнего слоя. Структура внутренних (скрытых) слоев может быть организована по-разному. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях.

Среди многослойных сетей выделяют:

сети с прямыми связями;

сети с перекрестными связями;

сети с обратными связями;

сети с латеральными связями.

Нейронная сеть с прямыми связями

Все нейроны входного слоя активизируются вектором входного сигнала, а все нейроны выходного слоя определяют выходной вектор.

На рис. 3.6 и 3.7 представлены сетей с прямыми связями с одним и двумя слоями и точками ветвления на входе.

Если в НС все узлы каждого слоя соединены со всеми узлами смеждых слоев, то такая сеть называется полносвязной сетью прямого распространения. Если некоторые из синаптических связей отсутствуют, то сеть называется неполносвязной. На рис. 3.8 показана двухслойная полносвязная сеть с прямыми связями. Она называется сетью 10-4-2, т.к. имеет 10 точек ветвления, 4 скрытых и 2 выходных нейрона.

Рис. 3.8.  Структура полносвязной двухслойной сети

с прямыми связями

Нейронная сеть с перекрестными связями

Вариант двухслойной сети с перекрест­ными связями приведен на рис. 3.9. Здесь нейроны вто­рого слоя имеют синаптические связи как с выходов нейронов первого слоя, так и непосредственно с входа НС. В общем случае в многослойных сетях произвольной структуры возможны различные конфигурации перекрестных связей.

Нейронная сеть с обратными связями

Обратной связью можно охватывать как отдельный слой, так и несколько слоев и даже всю сеть. На рис. 3.10 приведена четырехслойная сеть с различными обратными связями.

Нейронная сеть с латеральными связям

В нейронных сетях с латеральными связями используются боковые связи. Такие связи обычно используются для сетей распознавания графических объектов.

Латеральные связи бывают тормозящими и возбуждающими. На рис. 3.11 приведен пример контрастирования сигналов соседних нейронов в отдельном слое.

7. Мерность связей. С точки зрения представления слоёв и связей сети различают одномерные и многомерные (двумерные) НС.

В двумерных сетях каждый нейрон своими синаптическими связями проецируется на небольшую область следующего слоя (рис. 3.12). В данном случае слои представляют не одномерными, а плоскими, т.е. двухмерными. При подобном уменьшении числа межнейронных связей можно значительно сократить объем вычислений при программном моделировании сети и объем аппаратуры при аппаратной реализации.

8. Направление связей между нейронами. По данному признаку нейронные сети сгруппированы в два больших класса: сети прямого распространения (ациклические), в которых графы не имеют петель, и рекурсивные сети, или сети с обратными связями (рис. 3.13).

На рис. 3.13 представлены типовые сети каждого класса. Сети прямого распространения являются статическими, т.е. на заданный входной вектор они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекурсивные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

Кратко опишем основные классы современных архитектур НС.

Полиномиальные сети. Это очень мощная архитектура, называемая Методом группового учета аргумента (МГУА). На самом деле, сеть МГУА не похожа на обычные сети с прямой связью, и изначально эта архитектура обычно не представлялась в виде сети. Сеть МГУА содержит в связях полиномиальные выражения и использует в некотором смысле аналогичный генетическим алгоритмам механизм принятия решения о том, сколько слоев необходимо построить. Результатом обучения является возможность представить выход как полиномиальную функцию всех или части входов.

Вероятностные нейронные сети (ВНС). Они известны своей способностью обучаться на ограниченных наборах данных, причем для обучения нейросети достаточно однократного предъявления обучающей выборки! ВНС разделяет данные на указанное количество выходных категорий. Сеть ВНС зачастую способна работать уже после предъявления ей всего двух примеров из обучающей выборки, поэтому обучение может осуществляться поэтапно.

НС с общей регресией (НСОР). Подобно вероятностным сетям, НСОР известны своей способностью обучения в результате однократного предъявления тренировочных данных. Однако, в отличие от сетей ВНС, которые классифицируют данные, сети НСОР способны предсказывать выходы с непрерывной амплитудой. НСОР особенно полезны для аппроксимации непрерывных функций и могут строить многомерные поверхности, аппроксимирующие данные.

Сети с обходным соединением. В сетях этого типа каждый слой связан со всеми предшествующими слоями.

Рекурсивные сети с отрицательной обратной связью (сети Джордана-Элмана). Рекуррентные сети обладают долговременной памятью, построенной на внутренних нейронах. Эти сети могут запоминать последовательности, поэтому они часто применяются для финансовых биржевых предсказаний и для работы с данными, представляющими собой временные ряды.

Сети Ворда. Сети этого типа способны выделять различные свойства в данных, благодаря наличию в скрытом слое нескольких блоков, каждый из которых имеет свою передаточную функцию. Когда в разных блоках скрытого слоя используются разные передаточные функции, нейросеть оказывается способной выявлять новые свойства в предъявляемом образе.

9. Способ решения задачи. С точки зрения этого критерия классификации Нс делят на формируемые, сети с формируемой матрицей связи, обучаемые и комбинированные (смешанные).

Формируемые сети

Сети этого вида проектируют для формализуемых задач, имеющих четко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.

Сети с формируемой матрицей связей

Сети этого вида применяют для трудноформализуемых задач.

Обучаемые сети

Этот вид сетей используют для решения неформализуемых задач.

Комбинированные сети

Этот класс сетей сочетает в себе признаки двух, а то и трех основных видов.

Соседние файлы в папке конспекты лекций