ЛР / Лабораторная работа 8 (1)

ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ ИМ. ПРОФ. М.А. БОНЧ-БРУЕВИЧА»

(СПбГУТ)

Кафедра безопасности информационных систем

ОТЧЁТ

по лабораторной работе №8 на тему:

«Исследование методов классификации данных с помощью нейронной сети»

по дисциплине «Теория информации, данные, знания»

Выполнили студенты группы ИСТ-223

___________/Хакова Ю./

___________/Коваленко А./

Принял: ___________/ Новиков Е.А./

Методы исследования.

Исходные данные в соответствии с вариантом задания:

• Метод оптимизации – adam

• Число нейронов в скрытом слое – 30

• Шаг градиентного спуска – 0.01

1. Функция потерь перекрестной энтропии (кросс-энтропии) – это метрика, позволяющая оценить, насколько хорошо функционирует модель классификации в машинном обучении. Потеря (или ошибка) оценивается как число, находящееся между 0 и 1, где 0 – идеальная модель. В формуле кросс-энтропии есть логарифм, то есть выходы нейронной сети прогоняются через логарифм , где P – распределение истинных ответов, а Q – распределение вероятностей прогнозов модели.

Функция Softmax используется для преобразования вектора значений в вероятностное распределение, которое суммируется до 1. Она особенно полезна в многоклассовой классификации, где необходимо определить вероятности для каждого класса. В формуле softmax участвуют экспоненты , где z_i - это элемент входного вектора, а k - это общее число элементов в векторе.

2. При внесении в нейронную сеть параметров в соответствии с вариантом задания она представляет следующую классификацию, которую уже можно воспринять за относительно удовлетворительную (Рисунок 1).

Рисунок 1. Представление с исходными данными.

В поиске количества скрытых нейронов, приводящих вывод сети в неудовлетворительный, выявляется значение 1 (Рисунок 2). Выше этого значения предсказания сети удовлетворительны.

Рисунок 2. Неудовлетворительный результат.

3. Исследование зависимости точности сети от:

• количества скрытых нейронов (Таблица 1).

Таблица 1. Зависимость от скрытых нейронов.

Количество	Точность
5	0.7407
50	0.8704
150	0.8519

С повышением количества скрытых нейронов точность предсказания увеличивается.

• количества слоёв (Таблица 2).

Таблица 2. Зависимость от количества слоёв.

Количество	Точность
1	0.8148
2	0.8333
3	0.8704

При увеличении количества слоёв точность также возрастает.

• метода активации (Таблица 3).

Таблица 3. Зависимость от метода активации.

Метод	Точность
Sigmoid	0.8148
Tanh	0.8704
ReLU	0.8889

• ReLU (Rectified Linear Unit) - это нелинейная функция активации, которая широко используется в глубоком обучении. Она преобразует входное значение в значение от 0 до положительной бесконечности. Если входное значение меньше или равно нулю, то ReLU выдает ноль, в противном случае - входное значение

• Гиперболический тангенс (tanh) является одной из наиболее распространенных функций активации в нейронных сетях. Он используется как для классификации, так и для регрессии, а также для обработки изображений и других типов данных.

4. Base Rate у датасета вин равен 0.398876404494382. Сеть начинает предсказывать хуже данного значения начиная с test_size=0.7 (Рисунок 3). Значение точности при этом 0.6640.

Рисунок 3. Представление при test_size=0.6.

Таблица 3. Зависимость от размера батча.

5. Исследование зависимости времени обучения от размера батча (Таблица 4).

Размер батча	Время обучения
5	176 сек
50	28 сек
150	10 сек

Явно, что, чем больше размер батча, тем быстрее происходит обучение сети.

Выводы.

В результате проделанной работы были исследованы методы классификации данных при помощи нейронной сети.

САНКТ-ПЕТЕРБУРГ 2024