Министерство образования и науки РФ

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Санкт-Петербургский государственный экономический университет»

Кафедра информатики

РЕФЕРАТ

на тему:

Нейронные сети

Выполнила:

студентка 1 курса

очного отделения группы РС-1501

Пичугина Ника

Проверила:

аспирант

Федотова З.К.

Санкт-Петербург 2015

Оглавление

1. Введение 3

2. Биологический нейрон 4

3. Технический нейрон 5

4. Структура нейронной сети. Однослойные нейронные сети 6

4. Многослойные нейронные сети 7

5. Обучение нейронной сети 8

5.1. Обучение с учителем 8

5.2. Обучение без учителя 9

6. Заключение 10

Список литературы 11

1. Введение

Искусственная нейронная сеть (далее ИНС) — математическая модель, построенная по принципу функционирования биологических нейронных сетей, а также её программное или аппаратное воплощение. В настоящее время ИНС вызывают интерес у специалистов самых разных областей (техническое конструирование, философия и т.д.)

Основные преимущества ИНС:

• обучаемость — после предъявления входных сигналов ИНС самонастраиваются, чтобы обеспечивать требуемую реакцию. В некоторых случаях данный процесс может приводить к неустойчивому поведению системы;

• ИНС способны обобщать уже имеющуюся информацию и извлекать из неё необходимые данные,

• возможность расширения ИНС при необходимости с помощью дополнительных нейронов;

• устойчивость ИНС к отказам некоторых нейронов благодаря хранению информации в распределённом виде;

• ИНС — универсальный механизм обработки данных, одно и то же решение может быть использовано сразу в нескольких областях;

• нелинейность (крайне полезный фактор при обработке нелинейных входных сигналов, например, человеческой речи);;

• ИНС способны извлекать из поступающей информации главное и отбрасывать лишние данные;

• сходство структуры ИНС и человеческого мозга даёт надежды на построение крайне высокопроизводительных систем в будущем.

2. Биологический нейрон

Нейрон — электрически возбудимая клетка, передающая и обрабатывающая информацию с помощью химических и электрических сигналов. Нейрон состоит из ядра, тела клетки и длинных отростков. Нейроны могут соединяться один с другим, формируя биологические нейронные сети.

За проведение информации от тела нейрона или от нейрона к требуемому органу отвечает длинный отросток нейрона, называющийся аксон. Обычно у нейрона имеется только один аксон. Также у нейрона есть несколько коротких и сильно разветвлённых отростков — дендритов — которые получают информацию через синапсы от аксонов других нейроном и передают её через электрический сигнал телу нейрона. Синапс — это место контакта между нейронами; их количество может составлять от 10 до 100 000. Кроме того, синапсы могут настраиваться проходящими через них сигналами.

Рис. 1 Строение нейрона

Основная функция нейрона — передача электрических или химических сигналов с дендрита на аксон. В том случае, если суммарный заряд превышает некоторое значение, нейрон выдаёт сигнал. Именно на основе этих свойств функционируют большинство ИНС, хотя эта система имеет много усложнений и исключений.

3. Технический нейрон

Искусственный нейрон, так же, как и живой, состоит из синапсов, связывающих входы нейрона с ядром; ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет «вес» (величина синаптической связи или электрическая проводимость синапса, обозначение Wi), который определяет, насколько соответствующий вход нейрона влияет на его состояние.

Рис. 2 Модель технического нейрона

Рис. 3 Формула определения состояния нейрона

Условные обозначения:

• n – число входов нейрона

• xi – значение i-го входа нейрона

• wi – вес i-го синапса.

4. Структура нейронной сети. Однослойные нейронные сети

ИНС можно представить в виде направленного графа со взвешенными связями, в котором узлами являются искусственные нейроны. В простейшей ИНС есть только один слой нейронов.

Рис. 4 Однослойная нейронная сеть

Условные обозначения:

• круги — распределители входных сигналов, не выполняют никаких вычислений, не считаются слоем;

• квадраты — вычисляющие нейроны;

• x_n — входы;

• w_n — синапсы;

Для удобства веса ИНС считаются элементами матрицы W, имеющей m строк (количество входов) и n столбцов (количество нейронов). Например W3,4 — это вес, связывающий четвёртый вход со вторым нейроном. Выходной вектор N вычисляется по формуле N = XW, где N и Х - векторы-строки. При изменении матрицы W меняется и реакция ИНС на входные сигналы.

4. Многослойные нейронные сети

Чем крупнее и сложнее нейронная сеть, тем большими вычислительными возможностями она обладает. В многослойной сети может быть какое угодно количество слоёв нейронов, расположенных каскадом. Каждый нейрон соединён с нейронами последующего и предыдущего слоёв. В каждом слое может быть произвольное количество нейронов. Выход одного слоя является входом для последующего слоя.

Рис. 5 Двухслойная нейронная сеть

Среди многослойных сетей можно выделить четыре класса:

• сети обратного распространения (рекуррентные) — все связи направлены с выходных нейронов к выходным;

• сети прямого распространения – все связи направлены строго от входных нейронов (или нейронов скрытого слоя) на входы нейронов входного слоя;

• сеть Кохонена — два слоя, входной и выходной, составленные из радиальных элементов. Способна обучаться без учителя.

• радиально базисные функции – многослойная ИНС, имеющая скрытый слой из радиальных элементов и выходной слой из линейных элементов;

5. Обучение нейронной сети

Обучение – это процесс, в ходе которого происходит настройка свободных параметров ИНС посредством моделирования её внешней среды. Тип обучения определяется способом подстройки этих параметров.

Процесс обучения состоит можно разделить на три фазы

• поступление сигналов из внешней среды в ИНС;

• изменение внутренней структуры ИНС на основе полученных сигналов;

• обработка поступающих сигналов на основе произошедших изменений;

Существующие алгоритмы обучения ИНС делятся на два класса: стохастические (вероятностные) и детерминистские. В первом случае подстройка весов подчиняется случайному процессу, во втором представляет собой жёсткую последовательность. Универсального алгоритма не существует. Чтобы сконструировать процесс обучения необходимо, во-первых, обладать моделью внешней среды ИНС, т.е. доступной для сети информацией, во-вторых — понимать правила обучения, которые определяют способ модифицирования весовых параметров пути.

5.1. Обучение с учителем

Рис. 6 Схема обучения с учителем

При обучении с учителем для каждого входного вектора существует значение целевого вектора, представляющего собой требуемый выходной сигнал сети. Вместе эти вектора составляют обучающую пару. В обычных случаях обучение сети проходит с несколькими обучающими парами. После того, как ИНС сравнивает значение выходного сигнала со значением целевого вектора, вычисляется ошибка. Величины синаптической связи (веса) изменяют до тех пор, пока не будет получен приемлемо низкий уровень отклонения выходного вектора от целевого для каждого входного вектора.

5.2. Обучение без учителя

Рис. 7 Схема обучения без учителя

Обучение без учителя представляет собой более правдоподобную модель обучения с биологической точки зрения. В этом случае обучающее множество составляют только входные вектора; целевой вектор для выходов не требуется. Веса ИНС подстраиваются определённым образом, при котором предъявление близких входных векторов даёт одинаковые выходы. В этом случае выходные вектора называются согласованными. В результате этого процесса сходные вектора группируются в классы, и предъявление на вход вектора из данного класса даёт определенный выходной вектор. Предсказать конечный результат этого процесса до обучения невозможно.

6. Заключение

В настоящее время развитие ИНС находится на недостаточно высоком уровне, чтобы предполагать, что в ближайшем будущем эти системы смогут дублировать функции человеческого интеллекта в полной мере. Даже самые сложные ИНС по уровню развития находятся ниже, чем обычный дождевой червь. Кроме того, системы ИНС имеют ряд существенных недостатков.

Во-первых, поскольку структура ИНС повторяет структуру человеческого мозга, эти системы обладают свойственной людям непредсказуемостью. Для определения точного значения выхода необходимо испытать все возможные входные сигналы. В большой сети подобная проверка почти неосуществима. Таким образом, при использовании ИНС высока вероятность случайных ошибок, и использовать эту систему в деятельности, включающей в себя ответственность за жизнь людей, не рекомендуется.

Во-вторых, в отличие от экспертных систем, ИНС нельзя проверить, т.е. проследить процесс её рассуждений в обратном порядке, поскольку её внутренняя структура, получающаяся в процессе обучения, обладает невероятной сложностью (кроме самых простых случаев).

Однако благодаря значительному функциональному сходству данных сетей с человеческим мозгом развитие ИНС возможно поспособствует в будущем более глубокому пониманию человеческого интеллекта.

Список литературы

1. Галушкин А.И. Нейрокомпьютеры в разработках военной техники США // Зарубежная радиоэлектроника. - 1995. - N5, 6. - С.4-21.

2. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. - Пер. с англ., 1992. - 118 с.