Искусственные нейронные сети. Практикум

№ 4694 МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РФ

УНИВЕРСИТЕТ НАУКИ И ТЕХНОЛОГИЙ МИСИС

ИНСТИТУТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И СИСТЕМ УПРАВЛЕНИЯ

Кафедра инфокоммуникационных технологий

А.В. Сириченко

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Практикум

Рекомендовано редакционно-издательским советом университета

Москва 2022

УДК 004.8 С40

Р е ц е н з е н т канд. техн. наук, доц. С.С. Киров

Сириченко, Андрей Викторович.

С40 Искусственные нейронные сети : практикум / А.В. Сириченко. – Москва : Издательский Дом НИТУ «МИСиС», 2022. – 26 с.

Практикум знакомит с основными понятиями теории искусственных нейронных сетей. Представлены основные сведения об искусственных нейронных сетях, приведена их классификация и рассмотрены основные типы архитектуры нейронных сетей, а также сформулированы задания для самостоятельного выполнения.

Практикум предназначен для обучающихся в бакалавриате по направлению 09.03.02 «Информационные системы и технологии» и в магистратуре по направлению 27.04.04 «Управление в технических системах».

УДК 004.8

А.В. Сириченко, 2022

НИТУ «МИСиС», 2022

Содержание

Введение. . . . . . . . . . . . . . . . . . . . . . 4 1. Элементы теории исскуственных нейронных сетей . . . . 5

1.1. Основные понятия об искусственном нейроне и функции активации . . . . . . . . . . . . . . . . 5

1.2.Классификация нейронных сетей. . . . . . . . . 7

1.3.Архитектура нейронной сети. . . . . . . . . . . 9

2.2. Обучение нейронной сети методом обратного распространения ошибки . . . . . . . . . . . . . . 21

Библиографический список . . . . . . . . . . . . . . 25

3

ВВЕДЕНИЕ

В практикуме представлены основные понятия теории искусственных нейронных сетей – одного из направлений в области создания искусственного интеллекта.

Первый раздел содержит основные сведения об искусственных нейронных сетях, в нем приведена их классификация и рассмотрены основные типы архитектуры нейронных сетей. Второй раздел включает задания для самостоятельного выполнения.

Практикум предназначен как для использования при проведении практических занятий, так и для самостоятельной работы студентов.

4

1. ЭЛЕМЕНТЫ ТЕОРИИ ИССКУСТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

1.1. Основные понятия об искусственном нейроне и функции активации

Искусственная нейронная сеть, далее просто нейронная сеть (НС), представляет из себя совокупность нейронов, соединенных друг с другом определенным образом.

Искусственный нейрон так же, как и живой, состоит из синапсов, связывающих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов, и аксона, который связывает нейрон с нейронами следующего слоя (рис. 1). Каждый синапс имеет вес, который определяет, насколько соответствующий вход нейрона влияет на его состояние.

Рис. 1. Структура искусственного нейрона

Состояние нейрона определяется по формуле

S =∑wiXi −b,

i

где Xi – значение i-го входа нейрона; wi – вес i-го синапса; b – порог нейрона.

5

Затем определяется значение аксона нейрона по формуле

Y = F(S),

где F – некоторая функция, которая называется функцией активации.

Функция активации нейрона вычисляет выходной сигнал нейрона. На вход этой функции подается сумма всех произведений сигналов и весов этих сигналов.

Наиболее часто на практике используются следующие виды функций активации (рис. 2):

а) пороговая функция. Это простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимально допустимому, иначе – максимально допустимому;

б) линейный порог. Это несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает;

в) сигмоидальная функция, или сигмоида. Это монотонно возрастающая дифференцируемая S-образная нелинейная функция. Сигмоида позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов;

г) гиперболический тангенс. Эта функция принимает на входе произвольное вещественное число, а на выходе дает вещественное число в интервале от –1 до 1. Подобно сигмоиде, гиперболический тангенс может насыщаться. Однако, в отличие от сигмоиды, выход данной функции центрирован относительно нуля.

Таким образом, нейрон представляет из себя элемент, который вычисляет выходной сигнал (по определенному правилу) из совокупности входных сигналов.

Между собой нейроны могут быть соединены абсолютно по-разному, это определяется структурой конкретной сети. По совокупности поступающих на вход сети сигналов на выходе формируется выходной сигнал (или несколько выходных сигналов).

6

Рис. 2. Виды функций активации:

а – пороговая функция; б – линейный порог;

в– сигмоида; г – гиперболический тангенс

1.2.Классификация нейронных сетей

1.Классификация нейронных сетей по характеру обуче-

ния.

Нейронные сети, использующие обучение с учителем. Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором. Далее веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемого уровня.

7

Нейронные сети, использующие обучение без учителя. Обучение без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Развитая Кохоненом и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы.

2.Классификация нейронных сетей по типу настройки весов делит их на:

сети с фиксированными связями – весовые коэффициенты нейронной сети выбираются сразу, исходя из условий задачи;

сети с динамическими связями – для них в процессе обучения происходит настройка синаптических весов.

3.Классификация нейронных сетей по типу входной информации делит их на:

аналоговые – входная информация представлена в форме действительных чисел;

двоичные, или бинарные – вся входная информация в таких сетях представляется в виде нулей и единиц.

4.Классификация нейронных сетей по характеру активационных функций. Если активационная функция одна для всех нейронов сети, то сеть называют однородной. Если же активационная функция зависит еще от некоторых параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

5.Классификация нейронных сетей по типу активационной функции. По типу активационной функции, используемой на различных слоях НС, различают линейныеи нелинейныесети.

6.Классификация нейронных сетей по модельному времени. По модельному времени (моделированию времени) нейронные сети подразделяются на сети с непрерывным и дискретным временем.

8

7. Классификация нейронных сетей по способу синхронизации. Как и в любой вычислительной сети, в нейронных сетях различают два способа синхронизации: синхронный и асинхронный.

1.3. Архитектура нейронной сети

Для решения конкретной задачи нужно выбрать подходящую нейронную сеть. При этом нужно учитывать не только перечисленные в таблице критерии, но и архитектуру сети. Выбор архитектуры подразумевает определение количества слоев и нейронов в этих слоях. Не существует формального алгоритма по определению нужной архитектуры, поэтому на практике выбирают или заведомо маленькую сеть и постепенно ее наращивают, или заведомо большую и постепенно выявляют неиспользуемые связи и сокращают сеть.

Рис. 3. Структура полносвязной нейронной сети

Принято выделять две базовые архитектуры НС – однослойные и многослойные сети.

Однослойные нейронные сети. В однослойных сетях нейроны соединяются либо по принципу каждый с каждым (полносвязные сети), либо регулярно (регулярные сети).

9

Вполносвязных сетях (рис. 3) каждый нейрон передает свой выходной сигнал остальным нейронам. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

Врегулярных сетях (рис. 4) для каждого нейрона характерна строгая определенность числа связей. Число связей нейрона зависит от места его расположения в сети. Особенностью сетей с регулярной топологией является один вид функции активации для всех нейронов этой сети.

Рис. 4. Структура простейшей однослойной регулярной сети

Многослойные нейронные сети. В многослойных сетях нейроны группируются по слоям. Внешние слои многослойной сети называют входным и выходным слоями. Внутренние слои называют скрытыми. Число скрытых слоев неограниченно. Слоистые сети описываются неполносвязным ориентированным графом (и часто называются персептронами).

Обычно вектор входных сигналов подается на все нейроны первого слоя сети. Вектор выходных сигналов образу-

10