Формирование нейронной сети
Можно выделить основные группы нейронных сетей. Каждая из групп выбирается в зависисмости от поставленных задач. Модель нейронной сети определяется моделями нейронов и структурой связей сети.
Существуют многослойные нейронные сети, нейроны в них делятся на группы, а входной сигнал общий.
Второй группой можно выделить полносвязная нейронные сети. В таких сеятх каждый нейрон имеет связь со всеми остальными.
Следующая группа нейронные сети с локальными связями. В такой модели нейрон связан не со всеми нейронами и располагаются они в прямоугольной решетке.
Также существует неструктурированные нейронные сети. Это модели, которые невозиожно отнести ни к одной из вышеперечисленных групп.
Все модели очень разнообразны и по-своему уникальныю В самом простом случае нейрон состоит из синапсов, нелинейного преобразователя и сумматора. Нейро первого порядка выполняет скалярную функцию векторного аргумента - взвешенное суммирование компонент вектора входного сигнала и нелинейное преобразование результата суммирования. Но существуют нейроны более высокого порядка, осуществляющие перемножение двумерных матриц.
Для построения и воспроизведения моделей нейронов используется ряд нелинейных преобразований. Такая функция называется передаточной функцией нейтрона. Самые распространееные из них это: сигмоидальные, кусочно-линейные и жесткие пороговые функции активации.
Сети различаются в зависимости от функций. Если все фунции активации одинаковые, то сеть называют однородной, если функции разные , то неоднороной.
При постороении модели нейронной сети, ориентированной на решение конкретной задачи, используются опредленные процедуры формирования (или создания) нейронных сетей. Эти процедуры заключаются в вводе указанных характеристик моделей нейронов и структур нейронных сетей. В основном в разрабатываемых программах реализована только часть из описанных моделей нейрой сети.
В зависимости от класса поставленной задачи происходит выбор группы моделей нейронных сетей. Для решения большинства задач линейной алгебры используются многослойные сети с особыми передаточными функциями. Многослойные и полно связные нейронные сети с сигмоидальными передаточными функциями используются для распознавания входной графической информация; нейронные сети с локальными связями - для обработки изображений.
Архитектура нейронных сетей
Нейронная сеть может быть исполнена в разной архитектуре
До
этого момента мы рассуждали о самой
примитивной архитектуре нейронной сети
– системе многоуровневых перцептронов.
Есть еще множество вариантов, от которых
зависит производительность. Современные
достижения в изучении машинного обучения
связаны не только с тем, как работают
оптимизационные алгоритмы, но как они
взаимодействуют с перцептронами. Автор
предлагает рассмотреть наиболее
интересные, с его точки зрения,
модели.
Рекуррентная нейронная сеть:
у нее некоторые или все соединения
отыгрывают назад. По сути, это принцип
технологии Feed
Back
Loop
(уведомление провайдера сервису рассылки
при наборе критического числа жалоб на
спам). Считается, что такая сеть лучше
работает на серийных данных. Если так,
то этот вариант вполне уместен в отношении
финансовых рынков. Для более подробного
ознакомления нам предлагают почитать
вот эту статью.
Рисунок 2 – Архитектуры нейронных сетей
На диаграмме изображены три популярных архитектуры нейронных сетей Последний из придуманных вариантов архитектуры рекуррентной нейронной сети – нейронная машина Тьюринга. Она объединяет архитектуру стандартной сети с памятью. Нейронная сеть Больцмана – одна из первых полностью связанных нейронных сетей. Она одной из первых была способна обучаться внутренним представлениям и решать сложные задачи по комбинаторике. Про нее говорят, что это версия Монте-Карло рекуррентной нейронной сети Хопфилда. Ее сложнее обучать, но если поставлены ограничения, то она эффективней традиционной сети. Самое распространенное ограничение в отношении сети Больцмана – запрет на соединения между скрытыми нейронами. Собственно, еще один вариант архитектуры. Глубокая нейронная сеть – сеть со множеством скрытых слоев. Такие сети стали крайне популярны в последние годы, из-за их способности с блеском решать проблемы по распознаванию голоса и изображения. Число архитектур в данном варианте растет небывалыми темпами. Самые популярные: глубокие сети доверия, сверточные нейронные сети, автокодировщики стэка и прочее. Самая главная проблема с глубокими сетями, особенно в случае с финансовым анализом, — переобучение. Адаптивная нейронная сеть одновременно адаптирует и оптимизирует архитектуру в процессе обучения. Она может наращивать архитектуру (добавлять нейроны) или сжимать ее, убирая ненужные скрытые нейроны. По мнению автора, эта сеть лучше всего подходит для работы на финансовых рынках, потому что сами эти рынки не стационарны. То есть сеть способна подстраиваться под динамику рынка. Все, что было здорово вчера, не факт, что будет оптимально работать завтра.
Рисунок 3 – Типы нейронных сетей
Два типа адаптивных нейронных сетей: каскадная и самоорганизующаяся карта
Радиально-базисная сеть – не то чтобы отдельный тип архитектуры в плане размещения соединений и перцептронов. Здесь в качестве активирующей функции используется радиально-базисная функция, чьи аутпуты зависят от расстояния от конкретной точки. Самое распространенное применение этой функции – гауссовское распределение. Она также используется как ядро в векторной машине поддержки.Проще всего – попробовать несколько вариантов на практике и выбрать наиболее подходящий под конкретные задачи.