Федеральное агентство связи ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ

ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ ИМ. ПРОФ. М. А. БОНЧ-БРУЕВИЧА» (СПбГУТ)

Факультет инфокоммуникационных сетей и систем Кафедра программной инженерии и вычислительной техники

ЛАБОРАТОРНАЯ РАБОТА №6 по дисциплине «Системы искусственного интеллекта»

Выполнил: студент 3-го курса дневного отделения группы ИКПИ-85

Коваленко Леонид Александрович Преподаватель:

доцент кафедры ПИиВТ Белая Татьяна Иоанновна

Санкт-Петербург

2021

Цель работы Реализация алгоритмов распознавания образов с помощью нейронных

сетей на языке программирования и изучение их свойств.

Задание

1.Изучить устройство и работу однослойной, двухслойной нейронных сетей, сети встречного распространения.

2.Выбрать исходный алфавит классов (цифры, буквы русского алфавита, буквы английского алфавита, буквы греческого алфавита, знаки препинания и арифметические символы, радиоэлементы, геометрические фигуры, узоры, дорожные знаки, топологические элементы, картографические обозначения) по согласованию с преподавателем.

3.Составить программу, реализующую однослойную, двухслойную нейронные сети и сеть встречного распространения для задачи распознавания.

4.Программа должна позволять просматривать изображения (с возможностью сохранения), классы, к которым они принадлежат, и результаты классификации; импортировать и экспортировать внутренние данные нейронной сети (для последующего использования) в файл определенного формата.

5.Испытать программу для различных входных данных и настроек.

6.Произвести оценку качества распознавания для различных случаев, систематизировать полученные результаты в таблицы. Построить графики выявленных зависимостей, сделать выводы.

Ход работы

Нейронные сети:

1.Однослойная нейронная сеть с использованием метода обратного распространения ошибки («one-layer perceptron with backpropagation», рис. 1).

2.Двухслойная нейронная сеть с использованием метода обратного распространения ошибки («two-layer perceptron with backpropagation», рис. 2).

2

3. Нейронная сеть встречного распространения с двумя скрытыми слоями — Кохонена и Гроссберга («counter-propagation network»).

Рисунок 1 — Однослойная нейронная сеть с использованием метода обратного распространения ошибки для распознавания изображения размером 28x28 пикселей

Рисунок 2 — Двухслойная нейронная сеть с использованием метода обратного распространения ошибки для распознавания изображения размером 28x28 пикселей

Есть 2 целевых параметра проверки работы нейронной сети:

1.Точность (англ. «Accuracy»), равная результату деления числа правильных ответов на общее число ответов. 100% — самая высокая точность. Разделяют точность на обучающей выборке и точность на проверочной выборке (последняя имеет бо́льшее значение).

2.Ошибка (англ. «Error»). Может быть разной — среднеквадратическая ошибка (англ. «Mean Squared Error»), средняя абсолютная ошибка и т. д.

3

Далее перечислены выбранные наборы данных.

1. Набор данных MNIST — образцы рукописного написания цифр. Изображения размера 28×28 пикселей. 60.000 изображений для обучения, 10.000 изображений для тестирования (табл. 1-2). 10 цифр — 10 классов.

Таблица 1 — MNIST, число образцов по классам для обучения

Таблица 2 — MNIST, число образцов по классам для тестирования

Примеры результатов представлены на сайте (рис. 3-4): https://paperswithcode.com/sota/image-classification-on-mnist

Рисунок 3 — Примеры результатов классификации MNIST (1)

Рисунок 4 — Примеры результатов классификации MNIST (2)

4

2. Набор данных EMNIST Digits — более расширенная версия MNIST. Изображения размера 28×28 пикселей. 240.000 изображений для обучения, 40.000 изображений для тестирования (табл. 3-4). 10 цифр — 10 классов.

Таблица 3 — EMNIST Digits, число образцов по классам для обучения

Таблица 4 — EMNIST Digits, число образцов по классам для тестирования

Примеры результатов представлены на сайте (рис. 5): https://paperswithcode.com/sota/image-classification-on-emnist-digits

Рисунок 5 — Примеры результатов классификации EMNIST Digits

5

3. Набор данных EMNIST Letters — образцы рукописного написания букв английского алфавита (верхний и нижний регистры считаются за одну букву алфавита). Изображения размера 28×28 пикселей. 124.800 изображений для обучения, 20.800 изображений для тестирования (табл. 5-6). 26 букв английского алфавита — 26 классов.

Таблица 5 — EMNIST Letters, число образцов по классам для обучения

Таблица 6 — EMNIST Letters, число образцов по классам для тестирования

Примеры результатов представлены на сайте (рис. 6): https://paperswithcode.com/sota/image-classification-on-emnist-letters

Рисунок 6 — Примеры результатов классификации EMNIST Letters

6

4. Набор данных EMNIST Balanced — образцы рукописного написания цифр и букв английского алфавита. Изображения размера 28×28 пикселей. 112.800 изображений для обучения, 18.800 изображений для тестирования (табл. 7-8). 10 цифр и 37 букв — 47 классов.

Таблица 7 — EMNIST Balanced, число образцов по классам для обучения

Таблица 8 — EMNIST Balanced, число образцов по классам для тестирования

Примеры результатов представлены на сайте (рис. 7): https://paperswithcode.com/sota/image-classification-on-emnist-balanced

Рисунок 7 — Примеры результатов классификации EMNIST Balanced

7

5. Набор данных «Sonar» — данные о сигналах сонара, отражающихся от металлического цилиндра (минерала — Mine) и грубо цилиндрической породы (камень — Rock) под разными углами и в различных условиях. Данные с 60 атрибутами. 208 образцов, разделение на обучающую и тестовую выборки отсутствует (табл. 9). 2 класса — «M» и «R».

Таблица 9 — «Sonar», число образцов по классам

Примеры результатов представлены на сайте (рис. 8): https://paperswithcode.com/sota/feature-selection-on-sonar

Рисунок 8 — Примеры результатов Sonar

6. Набор данных «Wine» — характеристики вин (вино — алкогольная жидкость, относящаяся к сильно действующим наркотикам). Данные с 13 атрибутами. 178 образцов, разделение на обучающую и тестовую выборки отсутствует (табл. 10). 3 безымянных класса.

Таблица 10 — «Wine», число образцов по классам

Примеры результатов представлены на сайте (рис. 9): https://paperswithcode.com/sota/feature-selection-on-wine

Рисунок 9 — Примеры результатов Wine

8

Внешний вид разработанной программы.

На рисунке 10 продемонстрирован процесс создания однослойного персептрона в программе, а на рисунке 11 — процесс обучения этой сети.

Рисунок 10 — Процесс создания однослойного персептрона для набора данных MNIST

Рисунок 11 — Процесс обучения однослойного персептрона для набора данных MNIST

9

На рисунке 12 продемонстрирован процесс создания двухслойного персептрона в программе, а на рисунке 13 — процесс обучения этой сети.

Рисунок 12 — Процесс создания двухслойного персептрона для набора данных MNIST

Рисунок 13 — Процесс обучения двухслойного персептрона для набора данных MNIST

10