3. Сеть Кохонена

Нейронные сети Кохонена — класс нейронных сетей, основным элементом которых является слой Кохонена. Слой Кохонена состоит из адаптивных линейных сумматоров («линейных формальных нейронов»). Как правило, выходные сигналы слоя Кохонена обрабатываются по правилу «Победитель получает всё»: наибольший сигнал превращается в единичный, остальные обращаются в ноль.

Слой Кохонена состоит из некоторого количества {\displaystyle n} n параллельно действующих линейных элементов. Все они имеют одинаковое число входов m {\displaystyle m} и получают на свои входы один и тот же вектор входных сигналов x = (x₁,… x_m){\displaystyle x=(x_{1},...x_{m})}. На выходе {\displaystyle j} линейного элемента получаем сигнал

(6)

где:

w_ji – весовой коэффициент i-го входа j-го нейрона;

i – номер входа;

j – номер нейрона;

w_j0 – пороговый коэффициент.

После прохождения слоя линейных элементов сигналы посылаются на обработку по правилу «победитель забирает всё»: среди выходных сигналов выполняется поиск максимального y_j{\displaystyle y_{j}}; его номер j_max = arg max_j{y_j}{\displaystyle j_{\max }={\rm {arg}}\max _{j}\{y_{j}\}}. Окончательно, на выходе сигнал с номером {\displaystyle j_{\max }}равен единице, остальные — нулю. Если максимум одновременно достигается для нескольких {\displaystyle j_{\max }}, то:

• либо принимают все соответствующие сигналы равными единице;

• либо равным единице принимают только первый сигнал в списке (по соглашению).

4. Реккурентные нейронные сети

Рекуррентные нейронные сети (англ. Recurrent neural network; RNN) — вид нейронных сетей, в которых имеется обратная связь. При этом под обратной связью подразумевается связь от логически более удалённого элемента к менее удалённому. Наличие обратных связей позволяет запоминать и воспроизводить целые последовательности реакций на один стимул. С точки зрения программирования в таких сетях появляется аналог циклического выполнения, а с точки зрения систем — такая сеть эквивалентна конечному автомату (абстрактный автомат, число возможных внутренних состояний которого конечно). Такие особенности потенциально предоставляют множество возможностей для моделирования биологических нейронных сетей. Однако большинство возможностей на данный момент плохо изучены в связи с возможностью построения разнообразных архитектур и сложностью их анализа.

Однослойные сети с обратной связью

После выхода книги Минского с критикой возможностей элементарного перцептрона в 1969 году работы по изучению искусственных нейронных сетей практически прекратились. Только небольшие группы продолжали исследования в этом направлении. Одна из таких групп в Массачусетском Технологическом институте в 1978 году начала свою работу. Джон Хопфилд был приглашен в качестве консультанта из отделения биофизики лаборатории Бела. Его идеи так же как и Розенблатта базировались на результатах исследования в нейрофизиологии. Главной заслугой Хопфилда является энергетическая интерпретация работы искусственной нейронной сети. Что же касается самой нейронной сети Хопфилда, то она обладает рядом недостатков из-за которых она не может быть использована практически. Впоследствии Коско развил идеи Хопфилда и разработал модель гетероассоциативной памяти — нейронная сеть Коско. Основным недостатком этих сетей является отсутствие устойчивости, а в случаях когда она достигается сеть становится эквивалентной однослойной нейронной сети из-за чего она не в состоянии решать линейно неразделимые задачи. В итоге ёмкость таких сетей крайне мала. Несмотря на эти практические недостатки в области распознавания, данная сеть успешно применялась в исследованиях энергетического хаоса, возникновения аттракторов, а также с этого времени об искусственных нейронных сетях стало возможным говорить как об ассоциативной памяти.