БУ ВО Ханты-Мансийского автономного округа – Югры
«Сургутский государственный университет»
Политехнический институт Кафедра информатики и вычислительной техники Очное отделение
Специальные главы математики
Нейронные сети
Выполнил Лядский Виктор Александрович
Проверила
Лысенкова Светлана Александровна
Сургут 2016 год
Оглавление
1. Определение нейросети 3
3. Сеть Кохонена 9
4. Реккурентные нейронные сети 10
Однослойные сети с обратной связью 10
Нейросеть Джордана 11
Сеть Элмана 12
5. Примеры 14
5.1. Программа распознавания букв русского языка 14
5.2 Нахождение ошибки в сети с сигмоидом 17
6. Вывод 18
7. Список литературы 19
1. Определение нейросети
Иску́сственная нейро́нная се́ть (ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.
После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.
ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами.
Рис. 1. Пример нейросети
Важно помнить, что нейроны оперируют числами в диапазоне [0,1] или [-1,1]. Для обработки чисел, выпадающих из этого диапазона, данные нормализуют, используя функцию активации. Пропуская число через функцию активации, мы получим число в нужном диапазоне. Существует множество таких функций, основными являются:
1) Линейная функция
,
(1)
2) Сигмоида
, (2)
3) Гиперболический тангенс
,
(3)
Рис. 2. Линейная функция (вверху), сигмоида (в центре) и гиперболический тангенс (внизу).
В процессе обучения, сеть выдает выходные данные с какой-то ошибкой. Ошибка — это процентная величина, отражающая расхождение между ожидаемым и полученным ответами. Ошибка формируется каждую эпоху и должна идти на спад. Если этого не происходит, значит, сеть функционирует неправильно. Один из основных способов нахождения ошибки - MSE (Mean Squared Error). Ошибка по этому методу высчитывается по следующей формуле:
,
(4)
где:
in - идеальный ответ,
an - полученный ответ,
n - номер итерации.
2. Перцептрон.
Перцептрон – математическая или компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Френком Розенблаттом в 1957 году и реализованная в виде электронной машины «Марк-1» в 1960 году. Перцептрон стал одной из первых моделей нейросетей, а «Марк-1» - первым в мире нейрокомпьютером. Несмотря на свою простоту, перцептрон способен обучаться и решать довольно сложные задачи. Основная математическая задача, с которой он справляется – это линейное разделение любых нелинейных множеств, так называемое обеспечение линейной сепарабельности.
Элементарный перцептрон состоит из элементов трёх типов: S-элементов, A-элементов и одного R-элемента. S-элементы — это слой сенсоров или рецепторов. В физическом воплощении они соответствуют, например, светочувствительным клеткам сетчатки глаза или фоторезисторам матрицы камеры. Каждый рецептор может находиться в одном из двух состояний — покоя или возбуждения, и только в последнем случае он передаёт единичный сигнал в следующий слой, ассоциативным элементам.
A-элементы называются ассоциативными, потому что каждому такому элементу, как правило, соответствует целый набор (ассоциация) S-элементов. A-элемент активизируется, как только количество сигналов от S-элементов на его входе превысило некоторую величину θ. Таким образом, если набор соответствующих S-элементов располагается на сенсорном поле в форме буквы «Д», A-элемент активизируется, если достаточное количество рецепторов сообщило о появлении «белого пятна света» в их окрестности, то есть A-элемент будет как бы ассоциирован с наличием/отсутствием буквы «Д» в некоторой области.
Сигналы от возбудившихся A-элементов, в свою очередь, передаются в сумматор R, причём сигнал от i-го ассоциативного элемента передаётся с коэффициентом{\displaystyle w_{i}}. Этот коэффициент называется весом A—R связи.
Так же как и A-элементы, R-элемент подсчитывает сумму значений входных сигналов, помноженных на веса (линейную формулу). R-элемент, а вместе с ним и элементарный перцептрон, выдаёт «1», если линейная форма превышает порог θ, иначе на выходе будет «−1». Математически, функцию, реализуемую R-элементом, можно записать так:
{\displaystyle
f(x)=\operatorname {sign} (\sum _{i=1}^{n}w_{i}x_{i}-\theta )}
(5)
Обучение элементарного перцептрона состоит в изменении весовых коэффициентов связей A-R. Веса связей S-A (которые могут принимать значения {-1; 0; 1}) и значения порогов A-элементов выбираются случайным образом в самом начале и затем не изменяются.
Рис. 3. Перцептрон