55. Алгоритмы обучения снс

Обучение свёрточной сети

• Как и полносвязная нейронная сеть, свёрточная сеть обучается с помощью алгоритма обратного распространения ошибки. Сначала выполняется прямое распространение от первого слоя к последнему, после чего вычисляется ошибка на выходном слое и распространяется обратно. При этом на каждом слое вычисляются градиенты обучаемых параметров, которые в конце обратного распространения используются для обновления весов с помощью градиентного спуска.

Резюме

Мы познакомились со свёрточными сетями и рассмотрели основные используемые слои. Для большего удобства всё самое главное собрано в таблицу 1.

Далее следует описать, как вычисляются градиенты на каждом из слоёв, чтобы можно было построить свою первую свёрточную нейронную сеть с нуля и затем обучить её.

Таблица 1.

Слой	Гиперпараметры	Размер входа	Размер выхода	Обучаемые параметры
Свёрточный	fc, fs, S, P	WxHxD	W - fs + 2P S +1 х H - fs + 2P S +1 х fc	fc·(fs·fs·fd + 1)
Пулинг	k	WxHxD	W k x H k x D	0
Активационный	-	WxHxD	WxHxD	≥ 0
Полносвязный	N	1x1xD	1x1xN	N·(D+1)

1 10¹⁰-10¹¹ по оценке д.т.н., проф. А.И.Башмакова (ТУ МЭИ) в книге: А.И.Башмаков, И.А. Башмаков «Интеллектуальные информационные технологии», изд-во МГТУ им. Н.Э.Баумана, 2005.

2 Соответственно, количество синапсов: 10²²