Модификация системы

Нейронные сети имеют большие требования к пространству из-за того, что объем памяти возрастает экспоненциально, относительно количества нейронов сети: каждый нейрон слоя имеет связи со всеми остальными нейронами. Это касается стандартной структуры нейронной сети, например в многослойном персептроне.

У неокогнитрона, по сравнению с другими сетями, очень большой размер сети. Первый слой имеет размер, эквивалентный размеру образца, на каждой паре внутренних слоев размер одной плоскости уменьшается из-за прореживание, но число таких плоскостей может быть очень велико. Плоскости могут также увеличиваться, если в них включаются все нейроны из окрестностей граничных клеток. Однако у неокогнитрона есть и существенное преимущество перед обычными сетями: локальные области связей нейронов. Набор весов общий для одной плоскости слоя, независимо от ее размера.

В текущей структуре программы каждый нейрон получал ссылки на синаптические связи, соответствующие его положению (с учетом принадлежности к конкретной нейронной плоскости, а также не содержащие клеток, выходящих за границы слоя), и проход по ним осуществлялся путем простого перебора массива индексов. При таком способе хранения данных объем памяти, приходящийся на внутренние данные нейронов, занимал более 90% объема всей сети. Близкой к максимально допустимому объему памяти 32-битного приложения была конфигурация сети с 4 парами слоев и размером входного слоя 64х64. Радиусы окрестностей связей были заданы с учетом требования распространения влияния каждого входного нейрона на весь выходной слой. В такой сети объем памяти, занимаемой данными сети и слоев, составлял 50 MB, а данные нейронов занимали около 1500 MB.

Модифицированная система предполагает передачу нейрону полного набора связей слоя и выбор соответствующих ему связей уже в процессе активации. Это увеличивает временные затраты программы: проверки на выход за границы выполняются теперь не однократно, а на каждой итерации. Также это нарушает концепцию деления системы на объекты и их методы. Нейрон оперирует понятиями связей слоя и анализирует параметры слоя (размер, радиус окрестности) для выполнения собственной функции. Однако это дает огромный выигрыш по пространственной сложности задачи и позволяет создавать сети в несколько раз большего размера.

Также в качестве модификации, уменьшающей пространственные затраты, было внесено ограничение размеров слоя S: исключены из рассмотрения края, не имеющие соответствующей им центральной клетки окрестности на предыдущем слое. Это изменяет принцип работы сети с частями изображения около границ, однако эффект этого трудно оценить и последствия неоднозначны. Можно лишь заметить, что на глубоких слоях сети края могут иметь площадь, сопоставимую с площадью самого слоя, при этом информации содержат меньше, поскольку на них влияет значительно меньше нейронов первого слоя. Однако нельзя забывать, что из-за требования распространения влияния нейронов входного слоя на глубокие слои целиком, данные края все же несут некоторую долю полезной информации. В конечном итоге в программе используется вариант плоскостей без таких краев.