ЛР / TIDZ_lab(9)

ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ ИМ. ПРОФ. М.А. БОНЧ-БРУЕВИЧА»

(СПбГУТ)

Кафедра безопасности информационных систем

ОТЧЁТ

по лабораторной работе №9 на тему:

«Исследование методов классификации изображений рукописных цифр с помощью полносвязной нейронной сети»

по дисциплине «Теория информации, данные, знания»

Выполнили студенты группы ИСТ-223

___________/Хакова Ю./

___________/Коваленко А./

Принял: ___________/ Новиков Е.А./

Задание на лабораторную работу

1. Исследовать нейронную сеть при заданных начальных параметрах (см. таблицу).

2. Исследовать зависимость точности распознавания от количества нейронов в скрытом слое, количества слоев, метода активации.

3. Замерьте время вычисления 100 эпох на CPU и на GPU. Какое ускорение вы наблюдаете?

4. Постройте на одном графике loss для train и test. Имеется ли переобучение сети?

Исходные данные в соответствии с вариантом:

Метод оптимизации – ADAM

Число нейронов в скрытом слое – 30

Шаг градиентного спуска – 0.01

1. При исходных данных и шагом с батчами со значениями 100 исследования нейронной сети графически имеют следующий вид (Рисунок 1).

Рисунок 1. График accuracy с исходными данными.

Начальная точность имеет значение 0.2017

2. Исследование зависимости точности сети от:

• количества скрытых нейронов (Таблица 1).

Количество	Точность
5	0.1270
50	0.1997
150	0.2968

Таблица 1. Зависимость от скрытых нейронов.

С повышением количества скрытых нейронов точность предсказания увеличивается.

• количества слоёв (Таблица 2).

Количество	Точность
1	0.2235
2	0.2017
3	0.1412

Таблица 2. Зависимость от количества слоёв.

При увеличении количества слоёв убывает последовательно.

• метода активации (Таблица 3).

Метод	Точность
Sigmoid	0.2017
Tanh	0.1905
ReLU	0.1351

Таблица 3. Зависимость от метода активации.

Сигмоид (Sigmoid): Это функция активации, которая преобразует входные данные в диапазон от 0 до 1. Сигмоид обычно используется в выходном слое бинарной классификации.

Гиперболический тангенс (Tanh): Это функция активации, которая преобразует входные данные в диапазон от -1 до 1.Tanh обычно используется в скрытых слоях.

ReLU (Rectified Linear Unit): Это функция активации, которая преобразует входные данные в диапазон от 0 до бесконечности. ReLU обычно используется в скрытых слоях и является наиболее часто используемой функцией активации в сверточных нейронных сетях и глубоких сетях.

3. При замере времени вычислений нейронной сети при количестве эпох, равному 100, были выявлены следующие результаты:

GPU -6 секунд

CPU – 39 секунд

Видно, что при работе с GPU вычисления осуществляются в разы быстрее, а именно быстрее в 6,5 раза.

4. Для выявления переобучения показательнее будут высокие значения скрытых нейронов и низкое значение шага спуска, 1000 и 0.01 соответственно в данном случае. По loss графику (Рисунок 2) можно заметить незначительное отставание test от train, что может свидетельствовать о незначительном переобучении.

Рисунок 2. График loss для test и train.

Выводы.

В результате проделанной работы были исследованы методы классификации изображений рукописных цифр при помощи полносвязной нейронной сети.

САНКТ-ПЕТЕРБУРГ 2024