Архитектура связей

На способ обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с предыдущих слоев), обработка информации в сети однонаправленна. Входной сигнал обрабатывается последовательностью слоев и ответ гарантированно получается через число тактов равное числу слоев.

Наличие же обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой. В принципе, сеть может "зациклиться" и не выдать ответа никогда. Причем, согласно Тьюрингу, не существует алгоритма, позволяющего для произвольной сети определить придут ли когда-либо ее элементы в состояние равновесия (т.н. проблема останова).

Вообще говоря, то, что нейроны в рекуррентных сетях по многу раз принимают участие в обработке информации позволяет таким сетям производить более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры к тому, чтобы сеть не зацикливалась (например, использовать симметричные связи, как в сети Хопфилда, или принудительно ограничивать число итераций, как это делается в эмуляторе MultiNeuron группы НейроКомп).

Таблица 6. Сравнение архитектур связей нейросетей

Сравнение сетей:	Без обратных связей (многослойные)	С обратными связями
Преимущества	Простота реализации. Гарантированное получение ответа после прохождения данных по слоям.	Минимизация размеров сети - нейроны многократно участвуют в обработке данных. Меньший объем сети облегчает процесс обучения.
Недостатки	Требуется большее число нейронов для алгоритмов одного и того же уровня сложности. Следствие - большая сложность обучения.	Требуются специальные условия, гарантирующие сходимость вычислений.

Классификация по типу связей и типу обучения (Encoding-Decoding)

Ограничившись лишь двумя описанными выше факторами, разделяющими сети по типу обучения (программирования) и функционирования, получим следующую полезную классификацию базовых нейро-архитектур, впервые предложенную, по-видимому, Бартом Коско (Таблица 7).

Таблица 7. Классификация нейросетей

Тиб обучения (Coding)  Тип связей (Decoding) 	С "учителем"	Без "учителя"
Без обратных связей	Многослойные персептроны (аппроксимация функций, классификация)	Соревновательные сети, карты Кохонена (сжатие данных, выделение признаков)
С обратными связями	Рекуррентные аппроксиматоры (предсказание временных рядов, обучение в режиме on-line)	Сеть Хопфилда (ассоциативная память, кластеризация данных, оптимизация)

В этой таблице различные архитектуры сетей, которые встретятся нам далее в этой книге, распределены по ячейкам в зависимости от способа обработки ими информации и способа их обучения. В скобках указаны основные типы задач, обычно решаемых данным классом нейросетей.

В следующих главах, после более близкого знакомства с перечисленными выше основными нейро-архитектурами, мы рассмотрим конкретные примеры задач из области финансов и бизнеса, интересные с практической точки зрения.

А.Н.Горбань. Обучение нейронных сетей. М: СП Параграф, 1990.

А.Н.Горбань, Д.А.Россиев. Нейронные сети на персональном компьютере. Новосбирск. Наука, Сибирская издательская фирма РАН, 1996.

Ф.В. Широков (1998). "Нейросети на шине VME". Краткая история нейроинформатики. TANA ltd.,

Anderson, J. A. and Rosenfeld, E. Neurocomputing: Foundations of Research. The MIT Press, 1988.

Anderson, J. A., Pellionisz, A. and Rosenfeld, E. Neurocomputing 2: Directions for Research. The MIT Press, 1990.

Beltratti A., Margarita S., Terna P. Neural Networks for Economic and Financial Modeling. ITCP, 1995.

Bishop C.M. Neural Networks and Pattern Recognition. Oxford Press, 1995.

Haykin, S. Neural Networks, a Comprehensive Foundation. Macmillan, 1994.

Hecht-Nielsen, R. Neurocomputing. Addison-Wesley,1990.

Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities", Proc. Natl. Acad. Sci., 79, 2554-2558.

Hopfield, J.J. (1984). "Neurons with graded response have collective computational properties like those of two-state neurons", Proc. Natl. Acad. Sci., 81, 3088-3092.

McCulloch, W.S., Pitts, W. (1943). "A logical calculus of the ideas immanent in nervous activity", Bulletin of Math. Bio., 5, 115-133.

Maren, A., Harston, C. and Pap, R. Handbook of Neural Computing Applications. Academic Press, 1990

Mead, C (1989). Analog VLSI and neural systems. Addison Wesley.

Minsky, M. and Papert, S. (1969). Perceptrons. MIT Press, Cambridge MA.

М. Muller, B. and Reinhardt, J. Neural Networks, An Introduction. Springer-Verlag. 1990.Rosenblatt, F. (1969). Principles of Neurodynamics. Spartan Books, Washington DC, 1961.

Murray A.F. Applications of Neural Nets. Kluwer Academic Publishers, 1995.

Pao, Y. H. Adaptive Pattern Recognition and Neural Networks. Addison-Wesley, 1989.

Rumelhart, D.E., Hinton, G.E., and Wiliams, R.J. (1986). "Learning internal representations by error propagation", in: McClelland, J. L. and Rumelhart, D. E. (Eds.). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1, 318-362. MIT Press, Cambridge MA.

Обучение с учителем: Распознавание образов

Персептроны. Прототипы задач: аппроксимация многомерных функций, классификация образов. Возможности персептронов. Обучение с обратным распространением ошибки. Эффект обобщения и переобучение. Оптимизация размеров сети: разрежение связей и конструктивные алгоритмы.

 Английской грамматикой в объеме Basic English первым овладел Proteus orator mirabilis, тогда как E.coli eloquentissima даже в 21 000 поколении делал, увы, грамматические ошибки. С.Лем, Эрунтика

 … постарайся, насколько можешь отвечать о чем я буду спрашивать тебя. И, если я по рассмотрении твоего ответа найду в нем нечто призрачное и неистинное, незаметно выну это и отброшу… Платон, Теэтет

Персептроны. Прототипы задач

Сети, о которых пойдет речь в этой главе, являются основной "рабочей лошадкой" современного нейрокомпьютинга. Подавляющее большинство приложений связано именно с применением таких многослойных персептронов или для краткости просто персептронов (напомним, что это название происходит от английского perception - восприятие, т.к. первый образец такого рода машин предназначался как раз для моделирования зрения). Как правило, используются именно сети, состоящие из последовательных слоев нейронов. Хотя любую сеть без обратных связей можно представить в виде последовательных слоев, именно наличие многих нейронов в каждом слое позволяет существенно ускорить вычисления используя матричные ускорители.

В немалой степени популярность персептронов обусловлена широким кругом доступных им задач. В общем виде они решают задачу аппроксимации многомерных функций, т.е. построения многомерного отображения , обобщающего заданный набор примеров .

В зависимости от типа выходных переменных (тип входных не имеет решающего значения), аппроксимация функций может принимать вид

• Классификации (дискретный набор выходных значений), или

• Регрессии (непрерывные выходные значения)

Многие практические задачи распознавания образов, фильтрации шумов, предсказания временных рядов и др. сводится к этим базовым прототипическим постановкам.

Причина популярности персептронов кроется в том, что для своего круга задач они являются во-первых универсальными, а во-вторых - эффективными с точки зрения вычислительной сложности устройствами. В этой главе мы затронем оба аспекта.

Возможности многослойных персептронов

Изучение возможностей многослойных персептронов удобнее начать со свойств его основного компонента и одновременно простейшего персептрона - отдельного нейрона.