Слои свёрточной нейронной сети

Свёрточный слой и Слой субдискретизации

• Свёрточная нейронная сеть состоит из следующих слоёв – слоя свёртки и субдискретизации.

• Слои свёрточной нейронной сети

• Свёрточный слой

• Содержит ядро свёртки – матрицу весовых коэффицентов, устанавливающихся в процессе обучения. Этот слой выполняет функцию свёртки, обрабатывая с помощью ядра свёртки предыдущий слой по фрагментам и суммируя результаты матричного произведения для каждого фрагмента и выдаёт на выход карту признаков.

• Скалярный результат свёртки попадает на нелинейную функцию активации. Часто в качестве функции активации в свёрточных нейронных сетях используют функцию ReLU. · rectifier («выпрямитель», ReLU) 𝐹(𝑥)=𝑚𝑎𝑥⁡(0,𝑥)

• Слой субдискретизации (пулинга, подвыборки)

• Субдискретизация в свёрточных нейронных сетях это выделение наиболее значимых признаков предыдущего слоя и значитльное сокращение размерности последующих слоёв сети.

• Этот слой производит нелинейное уплотнение карты признаков путём нелинейного преобразования, в результате чего группа признаков в матрице (как правило размера 2×2) уплотняется до одного элемента.

• Процесс свёртки

+

• Обычно свёрточная нейронная сеть состоит из нескольких слоёв свёртки и субдискретизации, за которыми следует слой полносвязной нейронной сети прямого распространения, который является выходным.

• Свёрточная нейронная сеть — специальная архитектура искусственных нейронных сетей, предложенная Яном Лекуном и нацеленная на эффективное распознавание образов. Данной архитектуре удаётся гораздо точнее распознавать объекты на изображениях, так как, в отличие от многослойного персептрона, учитывается двухмерная топология изображения. При этом свёрточные сети устойчивы к небольшим смещениям, изменениям масштаба и поворотам объектов на входных изображениях.

• Во многом, именно поэтому архитектуры, основанные на свёрточных сетях, до сих пор занимают первые места в соревнованиях по распознаванию образов, как, например, ImageNet.

Почему именно свёрточные сети?

• Нейронные сети хороши в распознавании изображений. Причём хорошая точность достигается и обычными сетями прямого распространения, однако, когда речь заходит про обработку изображений с большим числом пикселей, то число параметров для нейронной сети многократно увеличивается. Причём настолько, что время, затрачиваемое на их обучение, становится невообразимо большим.

• Так, если требуется работать с цветными изображениями размером 64х64, то для каждого нейрона первого слоя полносвязной сети потребуется 64·64·3 = 12288 параметров, а если сеть должна распознавать изображения 1000х1000, то входных параметров будет уже 3 млн! А помимо входного слоя есть и другие слои, на которых, зачастую, число нейронов превышает количество нейронов на входном слое, из-за чего 3 млн превращаются в триллионы! Такое количество параметров просто невозможно рассчитать быстро ввиду недостаточно больших вычислительных мощностей компьютеров.