Лекция 6. Сверточные нейронные сети Что такое нейронная сеть: слои, функции активации

Нейронная сеть – по сути это программа, работающая по принципу работы головного мозга. Имеет возможность обучаться. Состоит она из нейронов, которые являются вычислительными элементами.

Про слои. Многослойными называются нейронные сети, в которых нейроны сгруппированы в слои. При этом каждый нейрон предыдущего слоя связан со всеми нейронами следующего слоя, а внутри слоёв связи между нейронами отсутствуют. 

Про функцию активации. По сути это характеристика нейрона, которая определяет какой выходной сигнал будет от него.

1. Что такое нейронная сеть: слои, функции активации

Нейронная сеть – математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма.

Свёрточная нейронная сеть (convolutional neural network, CNN) – специальная архитектура искусственных нейронных сетей, нацеленная на эффективное распознавание образов, входит в состав технологий глубокого обучения.

Слои в свёрточной нейронной сети

— Свёрточный слой

— Слой подвыборки

— Слой нормализации

— Полносвязный слой

— Преобразование полносвязных слоёв в свёрточные слои

Слой свёртки – основной блок свёрточной нейронной сети, включает в себя для каждого канала свой фильтр, ядро свёртки которого обрабатывает предыдущий слой по фрагментам (суммируя результаты поэлементного произведения для каждого фрагмента). Весовые коэффициенты ядра свёртки (небольшой матрицы) неизвестны и устанавливаются в процессе обучения.

Функция активации определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порогового значения. Примеры: ступенчатая, линейная, сигмоида, гиперболический тангенс, ReLu.

Объясните терминологию обучения нейронных сетей: что такое эпоха, шаг, скорость обучения и размер батча? Что такое функция потерь и какие они бывают?

Произошла одна эпоха — весь датасет прошел через нейронную сеть в прямом и обратном направлении только один раз.

Батч - Общее число тренировочных объектов, представленных в одном батче. (То есть весь датасет делится на партии – батчи. Так легче воспринимать информаицю)

Шаг – шаг обучения. Шаг градиентного спуска. Уменьшаем веса антиградиента, чтобы минимизировать ошибки.

Скорость обучения – константа, на которую умножаем вектор антиградиента. Делаем просто для того, чтобы метод сходился.

Эпоха – одна итерация в процессе обучения, включающая предъявление всех примеров из обучающего множества и, возможно, проверку качества обучения на контрольном множестве.

Итерация (шаг?) – своеобразный счетчик, который увеличивается каждый раз, когда нейронная сеть проходит один тренировочный сет. Другими словами, это общее количество тренировочных сетов пройденных нейронной сетью.

Скорость обучения – это характеристика, которая используется во время обучения нейронных сетей. Она определяет, как быстро будет обновлено значение веса в процессе обратного распространения. Скорость обучения должна быть высокой, но не слишком, иначе алгоритм будет расходиться. При слишком маленькой скорости обучения алгоритм будет сходиться очень долго и застревать в локальных минимумах.

Размер батча – количество обучающих примеров за одну итерацию. Чем больше batch size, тем больше места будет необходимо.

Функция потерь находится в центре нейронной сети. Она используется для расчета ошибки между реальными и полученными ответами. Функция потерь измеряет «насколько хороша» нейронная сеть в отношении данной обучающей выборки и ожидаемых ответов. Она также может зависеть от таких переменных, как веса и смещения. Функция потерь одномерна и не является вектором, поскольку она оценивает, насколько хорошо нейронная сеть работает в целом. Некоторые известные функции потерь:

- Квадратичная (среднеквадратичное отклонение);

- Кросс-энтропия;

- Экспоненциальная (AdaBoost);

- Расстояние Кульбака-Лейблера или прирост информации.