17.Нейронные сети(определение,основы,нйрон,персептрон(недостаток) )

Система параллельной распределительной обработки или системы связей—это система взаимосвязанных ,искусственных нейронов(подобно мозгу)

Живых организмов, состоит из огромного количества нервных клеток.

Интеллектуальные свойства таких систем обеспечиваются взаимодействием простых коипонентов и настройкой связей между ними в процессе обучения или адаптации

НС обучается за счет модификации своей собственной структуры в ответ на получаемую извне инфо.

Нейроны организованы в несколько слоев поэтому такие системы являются распределенными.

Информация обрабатывается параллельно ., т.е все нейроны одного слоя, одновременно и независимо друг от друга получают и преобразуют входные значения.

Входная информация из предметной области преобразуется в числовые векторы.

Связи между элементами и нейронами представляются числовыми значениями .

НС лучше всего подходит для решения следующих задач.

Классификация - определение категории или группы, к которой принадлежат

входные значения.

Распознавание образов - идентификация структуры или шаблона данных.

Реализация памяти, в том числе задача контекстной адресации памяти.

Прогнозирование, например, диагностика болезни по ее симптомам, определение

следствий на основе известных причин.

Оптимизация - поиск наилучшей структуры ограничений.

Фильтрация - выделение полезного сигнала из фонового шума, отбрасывание

Нейронные сети – самообучающиеся системы, имитирующие деятельность человеческого мозга.

Искусственный нейрон – имитирует свойства и работу своего биологического прототипа.

Схема нейрона.

Из рисунка видно, что искусственный нейрон, так же, как и живой, состоит из синапсов (Однонаправленная входная связь нейрона, соединенная с выходом другого нейрона), связывающих входы нейрона с ядром; ядра нейрона, которое осуществляет обработку входных сигналов и аксона (Единственный отросток биологического нейрона, по которому он передает свой выходной сигнал), который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет, насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле:

, где: n – число входов нейрона, xi – значение i-го входа нейрона, wi – вес i-го синапса.

Затем определяется значение аксона нейрона по формуле: Y = f(S), где f – некоторая функция, которая называется активационной (пороговой). Наиболее часто в качестве активационной функции используется так называемый сигмоид (т.е. функция, график которой похож на букву "S"), который имеет следующий вид:

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

При уменьшении параметра a сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при a=0. При увеличении a сигмоид все больше приближается к функции единичного скачка.

Обучение нейронных сетей.

Сеть должна для некоторого множества входов давать некоторое желаемое количество выходов каждый из которых рассматривается как вектор. Процесс обучения состоит в том что перебираются входные векторы и подстраиваются их весовые коэффициенты с целью получения определенных результатов.

Существует два способа обучения:

- с учителем

- без учителя

Сети, обучающиеся без учителя, просматривают выборку только один раз. Сети, обучающиеся с учителем, просматривают выборку множество раз, при этом один полный проход по выборке называется эпохой обучения. При обучении с учителем набор исходных данных делят на две части – собственно обучающую выборку и тестовые данные; принцип разделения может быть произвольным. Обучающие данные подаются сети для обучения, а проверочные используются для расчета ошибки сети (проверочные данные никогда для обучения сети не применяются). Таким образом, если на проверочных данных ошибка уменьшается, то сеть действительно выполняет обобщение. Если ошибка на обучающих данных продолжает уменьшаться, а ошибка на тестовых данных увеличивается, значит, сеть перестала выполнять обобщение и просто «запоминает» обучающие данные. Это явление называется переобучением сети или оверфиттингом. В таких случаях обучение обычно прекращают.

Одним из первых ученых который начал разработки в этом направлении был Кохонен. Обучающееся множество состоит из входных векторов. Обучающийся алгоритм подстраивает вес сети так, чтобы получались согласованные выходные векторы, т.е. при предъявлении достаточно близких входных векторов получались одинаковые выходные.