• Часть 2

• 26. Нейронные сети (нс). Область эффективного применения. Классификации нс по виду решаем6ых задач, по виду структур, по методам обучения.

Искусственные НС строятся по принципу грубой модели биологического нейрона, но при этом даже эту грубую модель в полной мере не получится построить.

Область эффективного применения: Когда есть какие-то данные, но нет между ними функциональных связей (или если не известны).

Структура: На вход нейронной сети подаётся вектор входных сигналов, где каждый компонент — это числовое представление признака. На выходе нейронной сети формируется выходной вектор. Нейронная сеть состоит из слоёв нейронов, соединённых весовыми коэффициентами.

По виду решаемых задач:

Классификация (класс) и Регрессия (предсказание числа) - обучение с учителем

Кластеризация (разбиение животных) и Генерация (картинки по описанию) - обучение без учителя

Аппроксимация и интерполяция (аппроксимировать функции, обеспечивая приближение сложных зависимостей/ поиск значения внутри диапазона обучающих данных)

Распознавание (идентификация объектов на изображениях, распознавание речи и текстов)

Прогнозирование (предсказывать значения на основе данных)

Оптимизация

Управление сложными объектами

Идентификация (определение уникальной принадлежности объекта - биометрия)

По виду структур: (количественно структура характеризуется слоями, если они есть, нейронами в каждом слое, связями)

1 .Сети прямого распространения (персептрон) - (обычно самые простые)

информация движется в одном направлении: от входных нейронов к выходным, проходя через скрытые слои.

Эти сети обычно используются для задач классификации и регрессии. Такие НС универсальные, решают любые задачи, но минус: тк решают универсально, то найдется такой инструмент, заточенный на определенную задачу, который решает ее лучше.

В сети прямого распространения процесс прямого хода выглядит так:

в ход → нейрон скрытого слоя → считается выход скрытого слоя → сигнал дальше поступает на выходной слой → считаем значение → считается ошибка → потом настраиваются веса

2.НС с обратными связями - информация с последующих слоев может передаваться на предыдущие слои нейронов, из-за сложности процессов обучения сочетания обратных связей не используются, тк сочетаются разные виды: 1- в нейроне(невырожденном)

2- между нейронами одного слоя

3- между нейронами разных слоев

Связи 1 и 2 лежат поверх связей в прямом направлении, т.е. обратные связи не заменяют прямые, а добавляются к ним, накладываясь на основную структуру сети прямого распространения и усложняя динамику и обучение сети.

Введение обратной связи с точки зрения способности к моделированию - существенно усиливает, а к обучению - существенно усложняет.

Особенность RNN — скрытое состояние — «память», которое накапливает информацию о предыдущих элементах последовательности. При поступлении нового элемента сеть обновляет своё скрытое состояние с учётом как текущих данных, так и накопленного контекста

В RNN используется обратное распространение ошибки во времени – метод разворачивает сеть на конечное число шагов назад и применяет стандартный градиентный спуск.

3 .Полносвязные НС - каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все вх. сигналы подаются всем нейронам. Вых. сигналами сети могут быть все или некоторые вых. сигналы нейронов после нескольких тактов функционирования сети.

+ всех ближе приближаются к биологическому аналогу, высокие способности к моделированию,

- нет эффективных алгоритмов обучения для применения НС.

Если мы хотим рассчитать сигнал на входе нейрона, то мы должны знать сигналы на выходе каждого нейрона.

По методам обучения:

Обучение с учителем:

Эталон — это заданное правильное выходное значение, с которым сравнивается выход нейронной сети в процессе обучения (Учитель). Обучение основано на обучающих парах (входной и целевой (выходной) вектор), где ошибки используются для обновления весов. Модель минимизирует разницу между предсказанными и реальными значениями, корректируя веса. Процесс повторяется для всех обучающих векторов, пока ошибка не станет минимальной. Применяется в задачах классификации и регрессии.

Эталон используется только для обучения: Сравнивается с выходом нейросети, вычисляется функция потерь, которая используется для подстройки весов. Эталон не является входным сигналом нейросети и не участвует в прямом распространении сигнала. Хранится в обучающем наборе данных, а не внутри нейронной сети. В процессе обучения он используется для сравнения с выходом сети и для вычисления ошибки, которая затем используется для корректировки весов.

Методы: Δ-правило корректирует веса, опираясь на эталон только для выходного слоя. Обратное распространение ошибки распространяет эту корректировку на скрытые слои, заменяя эталон переданной через сеть ошибкой.

Обучение без учителя

Не требует размеченных данных (выходные данные (эталон) не задаются) и выявляет скрытые закономерности во входных данных. За счет большого количества данных и обобщения формируется усредненное значение (центроид?). Используется для кластеризации, уменьшения размерности и других задач, где важны внутренние связи между данными. Ближе к биологической модели нейронных сетей, потому структура НС и алгоритмы обучения иные. На вход подается только вектор входных значений.