6.1.2. Модели нейронных сетей

Нейроны могут быть связаны между собой, когда выход одного нейрона является входом другого. Таким образом, строится нейронная сеть, в которой нейроны, находящиеся на одном уровне, образуют слои. Но не всякое соединение нейронов будет работоспособно и целесообразно.

Существуют два вида нейронных сетей (см. рис. 6.3): статические, которые также называют сети с прямой связью, и динамические, или рекуррентные сети.

6.1.3. Статические нейронные сети

С татические сети на заданный вход вырабатывают одну совокупность входных сигналов, независимо от состояния сети, в отличии от динамических, в которых обратные связи модифицируют входы нейронов, что приводит к изменению состояния сети.

Среди различных структур нейронных сетей одной из наиболее известных является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в случае первого слоя, со всеми входами нейросети. Такие нейросети называются полносвязными. Простейшим вариантом нейронной сети с прямыми связями является однослойный персептрон, схема которого представлена на рис. 6.4.

В наиболее распространенном семействе статических сетей, называемых многослойным персептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рис. 6.5. показана типовая схема нейронной сети с прямой связью с одним скрытым слоем (многослойный персептрон). Название персептрона для нейросетей придумал Ф.Розенблатт, придумавший в 1957  г. первый нейропроцессорный элемент.

Нейросети могут использовать в качестве активационных функций радиально-базисные (RBF-сети). Радиально-базисная сеть характеризуется единственным скрытым слоем, нейроны которого имеют нелинейную активационную функцию типа гауссовой; синоптические веса связей входного и скрытого слоев равны единице.

6.1.4. Рекуррентные нейронные сети

Р екуррентные сети (рис. 6.6) содержат обратные связи, благодаря которым становится возможным получение отличающихся значений выходов при одних и тех же входных условиях в зависимости от предыдущих состояний нейросети. Это гораздо расширяет области применения нейросетей. К этому типу относятся соревновательные сети, сети Кохонена, Хопфилда и Хеминга. Подробнее структуры этих сетей рассмотрены далее.

Важной особенностью рекуррентных сетей является их способность предсказывать существование новых классов объектов и моделировать нелинейные динамические системы.

Нейронные сети применяются для решения задач распознавания образов и классификации, принятия решений и управления, кластеризации, прогнозирования и аппроксимации, сжатия данных и реализации ассоциативной памяти.

6.2. Проектирование нейронных сетей

6.2.1. Этапы проектирования нейронных сетей

Этапы проектирования нейросети представлены на рис. 6.7. Важным вопросом является определение факторов классификации (входных данных), шкал их значений. С целью определения наиболее значимых для решения задачи факторов, целесообразно провести сначала корреляционно-регрессионный анализ. Эффективность нейросети повышается, если диапазоны изменений входных и выходных факторов привести к некоторому стандарту, например [0,1] или [-1,1].

С труктура нейронной сети определяется типом и числом нейронов во всех слоях. Количество элементов во входном слое определяется числом используемых признаков классификации. При их двоичном представлении увеличивается реальное число входных нейронов в соответствии с используемым преобразованием. Логично затронуть вопрос о требуемой мощности выходного слоя сети, выполняющего окончательную классификацию. Дело в том, что для разделения множества входных образов, например, по двум классам достаточно всего одного выхода. При этом каждый логический уровень – "1" и "0" – будет обозначать отдельный класс. На двух выходах можно закодировать уже 4 класса и так далее. Однако результаты работы сети, организованной таким образом, можно сказать – "под завязку", – не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности, например: высокой, средней и низкой. Такие нейросети позволяют проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает подобные нейросети к условиям реальной жизни.

Определение числа скрытых слоев и числа нейронов в каждом слое для конкретной задачи является неформальной проблемой, при решении которой можно использовать эвристическое правило: число нейронов в следующем слое в два раза меньше, чем в предыдущем.

Обучение нейронной сети сводится к определению связей (синапсов) между нейронами и установлению силы этих связей (весовых коэффициентов). Алгоритмы обучения нейронной сети упрощенно сводятся к определению зависимости весовых коэффициентов связи двух нейронов от числа примеров, подтверждающих эту зависимость. Обучение характеризуется тремя свойствами: емкостью, сложностью образцов и вычислительной сложностью. Емкость соответствует количеству образцов, которое может запомнить сеть, сложность определяет способность сети к обучению (сколько образцов нужно для обучения). В частности, при обучении сети может возникнуть эффект «перетренировки», когда сеть хорошо работает на примерах обучающей выборки, не справляется с новыми примерами, утрачивая способность к обучению.

Существуют три парадигмы обучения: «с учителем», «без учителя», и смешанная. В первом случае веса сети настраиваются таким образом, чтобы сеть давала ответы как можно более близкие к правильным. При обучении «без учителя» раскрывается внутренняя структура данных или корреляции между ними. Известны 4 основных типов правил обучения: коррекция по ошибке, обучение Больцмана, правило Хебба, обучение методом соревнования.

Правило коррекции по ошибке. При обучении с учителем для каждого входного примера задан желаемый выход. Реальный выход сети может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании разности между реальным и желаемым выходом для модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда сеть ошибается. Известны различные модификации этого алгоритма обучения.

Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.

Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом. Это правило основано на простом предположении: если два нейрона возбуждаются вместе, то сила связи между ними возрастает, если порознь – убывает.

Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило "победитель берет все". Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом. При обучении модифицируются только веса "победившего" нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе ко входному параметру.

На последнем этапе проектирования проводится тестирование полученной модели на тестовой выборке примеров, определяя тем самым правильность выбора структуры сети и ее обученность.