Модели нейронных сетей.
Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. Многослойные сети отличаются от однослойных тем, что между входными и выходными данными располагаются несколько скрытых слоев нейронов, добавляющих больше нелинейных связей в модель. Простейшая сеть состоит из группы нейронов, образующих один слой.
Многослойные сети обладают большими вычислительными возможностями, чем однослойные. Многослойные сети могут образовываться каскадами слоев: выход одного слоя является входом для последующего слоя.
Рисунок 5 – Однослойная нейронная сеть
Рисунок 6 – Двухслойная нейронная сеть.
По архитектуре связей нейронные сети могут быть сгруппированы в два класса: сети прямого распространения, в которых обратные связи отсутствуют (нет соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев) и сети рекуррентного типа, в которых возможны обратные связи. В сетях прямого распространения нет памяти, их выход полностью определяется текущими входами и значениями весов.
Рисунок 7– Варианты наиболее распространенных архитектур искусственных НС
Сети прямого распространения подразделяются на однослойные перцепротроны, многослойные перцептроны и Сеть радиальных базисных функций.
Класс рекуррентных нейронных сетей гораздо обширнее и сложнее по своему устройству. Поведение рекуррентных сетей описывается дифференциальными или разностными уравнениями, как правило, первого порядка. Сеть организована так, что каждый нейрон получает входную информацию от других нейронов и от окружающей среды. Этот тип сетей имеет важное значение для моделирования нелинейных динамических систем.
К получившим распространение на практике классическим моделями нейронных сетей относят:
Многослойные перцептроны содержат помимо входного и выходного слоев скрытые слои. Они представляют собой нейроны, которые не имеют непосредственных входов исходных данных, а связаны только с выходами входного слоя и с входом выходного слоя. Таким образом, скрытые слои дополнительно преобразуют информацию и добавляют нелинейности в модели. Многослойный перцептрон с сигмоидальными функциями активации способен аппроксимировать любую функциональную зависимость;
Сети Хопфилда строятся из N нейронов, связанных каждый с каждым кроме самого себя, причем все нейроны являются выходными. Нейронную сеть можно использовать в качестве ассоциативной памяти, а также для обработки неупорядоченных, упорядоченных во времени или пространстве образцов (рукописные буквы, временные ряды, графики);
Сети Кохонена еще называют «самоорганизующимися картами признаков». Сеть рассчитана на самостоятельное обучение. В процессе обучения на вход сети подаются различные образцы. Сеть улавливает особенности их структуры и разделяет образцы на кластеры, а затем уже обученная сеть относит каждый вновь поступающий пример к одному из кластеров, руководствуясь критерием «близости». Сеть состоит из одного входного и одного выходного слоя. Количество элементов в выходном слое непосредственно определяет, сколько различных кластеров сеть сможет распознать. Каждый из выходных элементов получает на вход весь входной вектор. В большинстве случаев каждый выходной элемент соединен также со своими соседями. Эти внутрислойные связи играют важную роль в процессе обучения, так как корректировка весов происходит только в окрестности того элемента, который наилучшим образом откликается на очередной вход.
Качество работы НС сильно зависти от предъявляемого ей в процессе набора учебных данных. Обучение часто оказывается уникальным процессом, когда приемлемые решения многих проблем могут быть получены только в процессе многочисленных экспериментов. Разработчикам нейронной сети требуется следующее:
Выбрать соответствующую модель сети.
Определить топологию сети (т.е. число элементов и их связи)
Указать параметры обучения.
Существуют три парадигмы обучения: с учителем, без учителя и смешанная.
Обучение с учителем.
Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход (решение задачи). Вместе он называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар.
Когда в сети один слой, алгоритм ее обучения с учителем очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети.
В многослойных сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойную НС уже невозможно обучить, руководствуясь только величинами ошибок на выходах сети. Один из вариантов решения этой проблемы – разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что конечно является трудоемкой операцией и не всегда осуществимо. Второй вариант – динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются наиболее слабые связи, которые изменяются на малую величину в ту или другую сторону. Сохраняются же только те изменения, которые повлекли уменьшение ошибки на выходе сети. Очевидно, что данный метод «проб» требует громоздких рутинных вычислений. Третий более приемлемый вариант – распространение сигналов ошибки от выходов НС к ее входам, в направлении обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения и является наиболее широко распространенным.
Обучение без учителя
Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы предусматривают изменение и структуры сети, т.е. количества нейронов и их взаимосвязи, такие преобразования называют – самоорганизацией. Очевидно, что подстройка синапсов может проводиться только на основании информации, доступной нейрону, то есть его состояния и уже имеющихся весовых коэффициентов. Исходя из этого соображения и по аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба. Существуют и другие алгоритмы обучения НС без учителя: обучение методом соревнования, проекции Саммона, анализ главных компонентов.