Обучение

Обучение когнитрона происходит по конкурентному принципу WTA: на каждой области слоя обучается только один, наиболее возбужденный нейрон. При его обучении веса изменяются по следующей формуле:

I – величина суммарного тормозящего сигнала, посчитанная по приведенной ранее формуле.

Если в области конкуренции нет возбужденных нейронов, веса изменяются по другим формулам:

q’ – коэффициент обучения при отсутствии победителя, q'<q.

При таком обучении у сильно возбужденных узлов возбуждающие веса будут расти быстрее, чем тормозящие, у слабо возбужденных – наоборот.

Использование латерального торможения в обучении

Латеральное торможение применяется для более эффективного обучения. В систему добавляется тормозящая связь между соседними нейронами одного и того же слоя. В исходной вариации алгоритма это означало появление в системе обратной связи и необходимость большого количества вычислительных итераций.

Существует метод ускоренного латерального торможения. Тормозящий сигнал вычисляется по формуле , где OUT_i – значения нейронов данного слоя в области конкуренции нейрона j. g_i – константные веса, в сумме равные 1. Затем выход тормозящего нейрона (нейрон X на рис. 7) считается по формуле:

Это позволяет вычислять тормозящий выход нерекурсивно, за один проход слоя. Такая система также несколько изменяет процесс обучения. Обычное латеральное торможение позволяет учиться только одному нейрону в области конкуренции, а при использовании ускоренного латерального торможения учиться могут несколько узлов одновременно.

Неокогнитрон

Неокогнитрон был разработан в 1980 году Кунихико Фукусимой. Эта нейронная сеть решает задачу робастного распознавания образов, в частности для оптического распознавания символов с сильно искаженной и зашумленной структурой.

Архитектура

Нейронная сеть имеет иерархическую структуру, имитирующую процессы в зрительной коре мозга. Входной слой соответствует слою фоторецепторов в человеческом мозге, это двумерный массив клеток, соответствующий размеру распознаваемого входного образа. За ним следует слой извлечения контраста (в схеме обозначается как U_G­). Внутренние слои делятся на два типа: S-слои (простые), отвечающие за распознавание элементов и C-слои (комплексные), компенсирующие смещение элементов. Выходной слой состоит из одиночных клеток, каждая из которых отвечает за узнавание конкретных образцов («grandmother cell»). В иерархии S-слои и C-слои идут поочередно. Чем больше размер образца, тем больше таких пар слоев требуется для распознавания. Общая схема сети предсталвена на:: Рис. 1 .8.

Рис. 1.8. Архитектктура неокогнитрона

Внутренние слои состоят из нескольких плоскостей (Cell Plane) нейронов. Соседями нейрона, чьи значения могут влиять на значение в нем, являются нейроны предшествующего слоя, чьи координаты i и j близки к его координатам (разность координат в пределах константы r для данного слоя). Будем называть совокупность таких нейронов окрестностью данного нейрона. В S-слоях нейрон принимает входные сигналы от таких окрестностей на всех плоскостях предыдущего слоя, в C-слоях – только от одной плоскости (см. Рис. 1 .8).

Одной из уникальных особенностей неокогнитрона являются общие наборы весов у нейронов. Веса связей представляют собой величины, зависящие от взаимного расположения предсинаптического и постсинаптического нейронов, то есть от положения предсинаптического нейрона в окрестности постсинаптического. Такой набор весов является общим для всех нейронов одной плоскости слоя и не зависит от абсолютного положения нейрона на плоскости. Таким образом обучение одного нейрона превращается в обучение целой нейронной плоскости.