Структура слоев неокогнитрона Входной слой u0

Значения клеток слоя соответствуют значениям яркостей на изображении. Значения яркостей имеют значения [0...255] и переводятся в интервал [0...1]. Преобразование производится по формуле:

Value(i,j) = (255-pixel(i, j))/255,

так что яркости 0 (черная точка) соответствует значение 1.

Размер слоя равен размеру входного изображения.

Слой извлечения контраста ug

Слой, выделяющий контраст. Состоит из двух плоскостей нейронов, размер каждой равен размеру входного слоя. Одна плоскость выделяет положительный контраст, вторая – отрицательный. Значения нейронов считаются по формуле:

Здесь:

n – координата рассматриваемого нейрона слоя U_G (подразумевается двумерная величина i, j)

A_G – окрестность

ν – относительная координата нейрона в окрестности (также в двумерном пространстве)

n+ν – абсолютная координата нейрона предыдущего слоя (положение на слое)

k – номер плоскости слоя U_G

φ(x) = max(x, 0)

a_G – вес связи (постоянные величины, одинаковые для всех нейронов слоя)

Константы для весов с которыми берутся значения нейронов из окрестности удовлетворяют следующему выражению:

Таким образом, если яркость в области равномерная, взвешенная сумма значений будет равна 0.

S-слои

Эти слои служат для выявления локальных признаков. Слой имеет K плоскостей размера, соответствующего размеру предыдущего слоя (могут учитываться края, включающие окрестность нейронов границы) и одну плоскость подавляющих нейронов (V-плоскость) такого же размера. Нейрон плоскости k с координатами [i, j] связан с областями нейронов (i-r...i+r), (j-r...j+r) каждой из K_previous плоскостей предыдущего слоя и с нейроном [i, j] плоскости V. Значение для слоя S_l рассчитывается по формуле:

Здесь

n – координата нейрона;

k – номер его плоскости;

A_sl – окрестность;

ν – относительная координата нейрона в окрестности;

n+ν – абсолютная координата нейрона предыдущего слоя;

φ(x) = max(x, 0);

a_sl – вес связи. Связи S-слоя – это переменные величины, массив таких значений соответствует набору связей между плоскостями k уровня S_l и κ уровня C_l-1. Значение зависит от относительного положения нейрона в окрестности и не зависит от абсолютной координаты нейрона.

b_sl – вес связи с V-нейроном. Это переменная величина, задающаяся для каждой плоскости k.

θ – параметр, определяющий порог погрешности (при значениях, близких к единице, выявляется только точное совпадение, при низких допускаются искажения).

v_l – значение нейрона V-плоскости, считается по формуле:

c_sl – постоянные веса связей V-нейрона с предыдущим слоем, описываются монотонно убывающей функцией от расстояния до центра окрестности.

При высоком пороге θ клетки S-слоя распределяются таким образом, что каждая клетка реагирует на конкретный образ, при низком пороге – клетка реагирует на этот образ с заметными искажениями, и таким образом несколько клеток могут реагировать на один и тот же образец. Для распознавания зашумленных образов следует понижать порог. Исходя из эксперимента Фукусимы, низкий порог вообще работает эффективнее.

C-слои

Название C-слоев происходит от слова «complex» (комплексные). Они обобщают значения клеток предшествующих S-слоев и нужны для компенсации искажений (в частности сдвига). Одна и та же клетка C-слоя реагирует на возбуждение нескольких соседних клеток S-слоя. Также на этом слое происходит уменьшение количества клеток (прореживание). Коэффициент прореживания обычно берется равным 2. Таким образом количество клеток слоя по каждому измерению уменьшается вдвое, и если у S-клеток x выходных связей со следующим слоем, то для каждой C-клетки будут учитываться 2*x входов.

Число K плоскостей слоя такое же, как у предыдущего слоя. Каждая плоскость связана с одной плоскостью предыдущего слоя. В выходном слое плоскость состоит из 1 нейрона, связанного со всеми клетками нескольких плоскостей предыдущего слоя (подробнее описано в пунктах, посвященных обучению неокогнитрона).

Значения считаются по формуле:

Здесь

a_cl – постоянные веса (одинаковы для всего слоя);

ψ(x) = φ(x)/(1+φ(x)).

Значения постоянных весов могут быть двух типов. Первый вариант: положительные, убывающие от центра к границе области. Второй: наличие на границе подавляющего окружения (inhibitory surrounding), означающее что на границе области веса отрицательны. Это нужно, чтобы реакция на элемент, проходящий через всю зону была менее выраженной, чем реакция на края и границы элементов (см. Рис. 1 .9). Поскольку в распознавании образов границы важны, подавляющее окружение улучшает качество результата.

Рис. 1.9. Влияние подавляющего окружения на распознавание образа

Выходной слой нейронной сети относится к C-слоям. Каждая клетка выходного слоя отвечает за один класс входных изображений, и наиболее возбужденная клетка определяет класс, к которому изображение относится. За счет того, что клетка может быть связана со многими плоскостями предшествующего слоя, достигается устойчивость к трансформациям изображения: сеть по сути распознает несколько образов, однако относит их все к одному классу.