Дизайн И. Гайдель 2007

Математические основы нейронных сетей

Примеры операций с тензорами

Линейное преобразование: скалярное произведение с произвольной матрицей реализует линейное преобразование. Обратите внимание, что масштабирование и поворот, перечисленные выше, по определению являются линейными преобразованиями;

Аффинное преобразование: аффинное преобразование (слайд) — это комбинация линейного преобразования (путем скалярного произведения с некоторой матрицей) и параллельного переноса (путем сложения векторов):

y = W • x + b

Аффинное преобразование на плоскости

Дизайн И. Гайдель 2007

Математические основы нейронных сетей

Примеры операций с тензорами

Аффинные преобразования обладают одним важным свойством — при многократном их применении в результате все равно получается аффинное преобразование (то есть можно сразу взять одно это суммирующее преобразование).

Рассмотрим пример с двумя аффинными преобразованиями: affine2(affine1(x)) = W2 • (W1 • x + b1) + b2 = (W2 • W1) • x + (W2 • b1 + b2).

Это аффинное преобразование, в котором линейная часть представлена матрицей W2 • W1, а часть, отвечающая за параллельный перенос, — это вектор

W2 • b1 + b2.

Как следствие, многослойная нейронная сеть, полностью состоящая из слоев без активаций, будет эквивалентна одному слою. Значит, данная «глубокая» нейронная сеть является всего лишь замаскированной линейной моделью! Вот почему нужны функции активации.

Дизайн И. Гайдель 2007

Математические основы нейронных сетей

Геометрическая интерпретация глубокого обучения

Мы показали, нейронные сети состоят из цепочек операций с тензорами, и что все эти операции, по сути, выполняют простые геометрические преобразования исходных данных. Отсюда следует, что нейронную сеть можно интерпретировать как сложное геометрическое преобразование в многомерном пространстве, реализованное в виде последовательности простых шагов.

Иногда в трехмерном пространстве полезно представить следующий мысленный образ. Пусть мы имеем два листа цветной бумаги: один красного цвета и другой — синего. Положим их друг на друга и сомнем в маленький комок. Этот мятый бумажный комок — имитирует входные данные, а каждый лист бумаги — класс данных в задаче классификации.

Суть работы нейронной сети (или любой другой модели машинного обучения) заключается в таком преобразовании комка бумаги, чтобы разгладить его и сделать два класса снова ясно различимыми. В глубоком обучении это реализуется как последовательность простых преобразований в трехмерном пространстве, как если бы вы производили манипуляции пальцами с бумажным комком по одному движению за раз.

Дизайн И. Гайдель 2007

Математические основы нейронных сетей

Геометрическая интерпретация глубокого обучения

Разглаживание комка бумаги — вот в чем суть машинного обучения: в поиске ясных представлений для сложных, перемешанных данных. Это объясняет, почему глубокое обучение преуспевает в этом: оно использует последовательное разложение сложных геометрических преобразований в длинную цепь простых — почти так же, как поступает человек, разворачивая смятый лист. Каждый слой в глубоком обучении применяет преобразование, которое немного распутывает данные, а использование множества слоев позволяет работать с очень сложными данными.

Разглаживание смятого комка исходных данных