6 семестр / пр2

Введение

В данной практической работе необходимо сравнить скорость обучения полносвязной сети и ее качество для задачи классификации на примере данных FashionMNIST, используя разные оптимизаторы. Построить сравнительную таблицу.

Основная часть

Ключевые библиотеки:

• torch.optim — содержит определение функций оптимизации для обучения нейронных сетей

• time — библиотека для измерения времени выполнения кода

Рисунок 1 — Оптимизатор AdaDelta

Рисунок 2 — Оптимизатор RMSProp

Рисунок 3 — Оптимизатор SGD без импульса

Рисунок 4 — Оптимизатор SGD с импульсом

Рисунок 5 — Adagrad

Рисунок 6 — Adam

Рисунок 7 — Adamax

Рисунок 8 — Вывод времени оптимизаторов

Ниже представлена таблица для сравнения оптимизаторов

Оптимизатор	Точность	Время обучения
Adadelta	81%	153.49
RMSprop	80%	172.66
SGD без импульса	86%	127.96
SGD с импульсом	86%	128.34
Adagrad	86%	142.28
Adam	85%	159.92
Adamax	86%	143.39

Выводы

В результате выполнения практической работы сравнены 7 оптимизаторов.

Сделана сравнительная таблица оптимизаторов.

С наилучшей стороны себя показал SGD без импульса