Нейропакеты – классификация и структура. Характеристика универсальных нейропакетов. Neuro Solution, Neural Works Professional, Process Advisor. Нейропакеты, классификация, области применения
Еще раз подчеркнем, что НС это, прежде всего новый математический объект, требующий разработки нового, ориентированного на нейросетевой логический базис, алгоритмического обеспечения и его реализации на вычислительной технике адекватной архитектуры (нейрокомпьютерах). Распространенная архитектура вычислительных систем Фон-Неймана оказывается полностью неадекватной нейронному базису, который предполагает наличие миллионов одновременно работающих нейронов. Тем не менее совсем не использовать имеющиеся компьютеры с архитектурой фон-Неймана было бы нерационально, тем более что нейрокомпьютеры, как вычислительная система, остаются пока дорогими и еще широко не распространены. Если для реализации нейронного алгоритма используется традиционный ПК, то сразу возникает вопрос о том, как реализовать (запрограммировать, обучить и т.д.) на нем НС. При этом самым сложным вопросом является задача обучения НС, т.е. получения таких значений весовых коэффициентов, с которыми НС правильно решает поставленную задачу.
Для реализации НС на обычном ПК необходима некоторая оболочка, эмулирующая нейрокомпьютер, которую называют нейропакет. (Эмуляция – имитация функционирования одного устройства посредством другого, при которой имитирующее устройство воспринимает те же данные и достигает того же результата, что и имитируемое).
Под нейропакетом понимают некоторый программный продукт, являющийся эмулятором нейрокомпьютера, т.е. промежуточным звеном между вычислительной архитектурой фон-Неймана и нейросетевым логическим базисом, подобно тому, как компилятор является промежуточным звеном между программой и выполняемым кодом. Под приведенное определение нейропакета попадает достаточно широкий класс программных продуктов, начиная с запрограммированных пользователем различных нейронных парадигм (структур) и кончая мощными нейронными оболочками и трансляторами с языка описания НС в специализированных нейрокомпьютерах. Нейропакет может быть реализован в виде отдельной оболочки, в виде надстройки над электронными таблицами или специализированными математическими пакетами.
Они могут быть выполнены для PC-совместимых ПК под MS-DOS, Windows 95 или OS/2, для компьютеров Macintosh и рабочих станций под UNIX. Производством нейропакетов занимаются несколько десятков крупных фирм в США, Канаде и др.
Как и любой программный продукт, нейропакет является программной реализацией алгоритмов решения задачи. Применительно к теории искусственных НС алгоритм решения задачи может быть представлен в виде некоторой НС достаточно произвольной структуры (нейронной парадигмы) и алгоритма ее обучения. На данный момент реализовано 28 стандартных нейронных парадигм (нейронных структур), для каждой из которых известен класс задач, решаемых ею, алгоритмы ее обучения, а также доказана сходимость процесса обучения и определена скорость сходимости. Поскольку теория НС не ограничивается 28 стандартными нейронными парадигмами, то нейропакет, в общем виде, должен обеспечивать возможность создания собственных нейронных парадигм. То же самое относится и к алгоритмам обучения. Исходя из этого, общая структура нейропакета должна быть построена в соответствии со схемой рис. *.
рис.*. Общая структура нейропакета.
Классификация нейропакетов
Все нейропакеты, реализуемые на ПК и рабочих станциях можно условно разделить на 5 больших групп.
Средства разработки. Сюда входят различные библиотеки запрограммированных нейронных парадигм и алгоритмов обучения, которые могут использоваться для создания универсальных нейропакетов. Эти средства применяются разработчиками нейропакетов.
Универсальные нейропакеты. К ним относятся нейропакеты, предоставляющие пользователю работу с несколькими различными нейронными парадигмами (НП), и имеющие средства для создания собственных НП. Универсальные нейропакеты, как правило, позволяют использовать широкий спектр алгоритмов обучения НС.
Специализированные нейропакеты. Основным критерием при разработке специализированного нейропакета является не количество реализуемых нейронных парадигм и алгоритмов обучения (т.е. не степень универсальности пакета), а класс задач, для решения которых он предназначен. Нейропакеты такого типа реализуют лишь очень ограниченное количество НП и, как правило, обладают ограниченными возможностями по созданию новых парадигм. Обычно специализированный нейропакет реализует одну или несколько нейронных парадигм, позволяя пользователю менять некоторые параметры НС, такие как число слоев, количество нейронов в слое (для многослойных НС), вид функции активации нейронов и т.д. Функциональная оптимизация обучения обычно жестко фиксирована и не может быть изменена.
Генетические нейропакеты. К ним относятся нейропакеты, реализующие генетические принципы обучения НС. В принципе, нейропакеты данного типа иногда относят либо к универсальным, либо к специализированным (в силу отсутствия единого мнения теоретиков НС).
Пакеты нечеткой логики. В основе данных пакетов лежит понятие нечеткой логики Заде, которая, вообще говоря, является подмножеством нейронной логики.
Такое разнообразие нейропакетов (а всего их более 100 наименований) дает пользователю практически неограниченный набор инструментальных средств для разработки собственных нейронных алгоритмов решения задач. С другой стороны, большинство пользователей (особенно начинающих) имеют слабое представление о том, как следует разрабатывать нейронный алгоритм решения задачи и делают ставку на мощь стандартных НП, реализованных в нейропакетах.
В этом случае разнообразие нейропакетов только вредит пользователю, поскольку он не может правильно сориентироваться в них и выбрать тот не6йропакет, который реализует нужную нейронную парадигму.
Большинство пользователей, в том числе и разработчики нейронных алгоритмов, допускают одну и ту же ошибку: они считают, что любую задачу можно решить, используя некоторую стандартную нейронную парадигму (структуру) и некоторый, также стандартный, алгоритм её обучения.
Тем не менее, стандартные нейронные парадигмы имеют ограниченные возможности и об этом нужно всегда помнить. Следовательно, каждый нейропакет, реализующий такие парадигмы, также имеет свою область применения.
Рис. * Классификация нейропакетов
Нужно также не забывать, что одной из наиболее сложных задач, связанных с НС, является задача их обучений, т.е. выбора наиболее оптимального по скорости и точности алгоритма настройки весовых коэффициентов.
В реальных приложениях вид функционала оптимизации (оптимизируемого функционала от ошибки работы НС) может быть различным. Вид функционала оптимизации существенно влияет на сходимость алгоритма обучения, поэтому хороший нейропакет должен, помимо всего прочего, обеспечивать пользователю и выбор функционала. Следовательно, универсальный нейропакет должен обеспечивать возможность создания собственных нейронных парадигм, выбор и создание собственных алгоритмов обучения, а также выбор вида функционала оптимизации. К сожалению, в настоящее время практически ни один нейропакет не удовлетворяет сразу всем этим требованиям.
Как показывает опыт разработки нейронных алгоритмов решения задач, наибольший эффект при решении сложной нестандартной задачи даёт не одна нейронная парадигма, а последовательность различных нейросетевых методов. В общих чертах любая задача может быть решена по схеме «декомпозиция – выделение классов подзадач – решение отдельных подзадач».
Декомпозиция исходной задачи не ряд более простых представляет собой сложный процесс, требующий досконального знания предметной области, а часто и смежных областей. Часто задачу декомпозиции удаётся решить, используя генетический нейропакет, реализующий принцип генетического обучения. С точки зрения пользователя, «генетическое обучение» представляет собой последовательность решений, каждое из которых является модификацией предыдущего на основе внутреннего представления знаний.
Происходит как бы процесс «микроэволюций» задачи, когда алгоритм её решения постоянно меняется в связи с применением новых и новых методов, каждый из которых наследует свойства предыдущего (отсюда и название – «генетическое обучение»). Методы генетического обучения реализованы в генетических нейропакетах.
Последовательность «декомпозиция – выделение классов подзадач – решение отдельных подзадач» может быть реализована с помощью последовательности «генетический пакет – пакет нечёткой логики – нейропакет», т.е. задача решается путём применения нескольких специализированных нейропакетов (не применяя универсальный нейропакет).
Нейропакет – программная оболочка, эмулирующая для пользователя среду нейрокомпьютера на обычном компьютере фон-неймановской архитектуры.
В настоящее время существует несколько десятков фирм-производителей нейропакетов и предлагаемый ими ассортимент насчитывает несколько сот наименований.
Наиболее распространённые нейропакеты можно классифицировать следующим образом:
средства разработки (OWL; Neuro Windows);
универсальные нейропакеты (Neuro Solution; Neural Works);
специализированные нейропакеты;
нейронные экспертные системы (G2);
пакеты генетического обучения;
пакеты нечёткой логики (Fuzzy Calc; Fuzzy Logic;
интегрированные пакеты обработки информации.
Neuro Solution:
Универсальный нейропакет Neuro Solution предназначен для моделирования широкого круга искусственных нейросетей. Его основное достоинство состоит в его гибкости, поскольку помимо традиционно используемых нейросетевых парадигм (типа многосвязных многослойных нейросетей или самоорганизующихся полей Кохенена).
Нейропакет включает в себя мощный редактор визуального проектирования нейросетей, позволяющий создавать практически любые собственные нейросети и, что очень важно, собственные алгоритмы их обучения.
Данный нейропакет позволяет пользователю вводить собственные критерии обучения нейросети. При визуальном контроле можно контролировать всё: начиная от структуры нейросети и заканчивая процессом и результатом обучения.
Пакет Neuro Solution предназначен для работы в операционных системах Windows 9x/NT/2000/XP. Пакет поддерживает программы, написанные на C++ для наиболее известных компиляторов: Microsoft C++, Borland C++/
Neuro Solution представляет собой гибкую открытую систему, которую можно дополнять и при необходимости модифицировать.
Нейросети в этом пакете проектируются как набор нейронов, соединённых между собой. При этом под словом нейрон понимается достаточно широкий класс простейших вычислительных элементов, включая обычный и взвешенный сумматор, нейроны высших порядков (с перемножением входов), а также непрерывный интегрирующий нейрон (тело которого представляет собой не дискретный, а непрерывный сумматор). Функция активации нейрона может быть выбрана из пяти стандартных: кусочно-линейная, функция знака (sign), 3 типа сигмоидальных функций ( ~ гиперболический тангенс).
Связи между нейронами задаются произвольно на этапе проектирования нейросети. При этом они могут быть достаточно просто изменены в процессе работы нейросети.
Пакет поддерживает все известные типы связей: прямые, обратные, перекрёстные.
При обучении можно использовать как встроенный алгоритм типа Back Propagation или дельта-правило, так и свой собственный.
Система визуализации процесса обучения позволяет производить анализ изменения весовых коэффициентов непосредственно в процессе обучения и производить соответствующую коррекцию.
Нейропакет Neuro Solution содержит генератор стандартных архитектур, с помощью которого можно быстро задать архитектуру нейронной сети, подобрать обучающую выборку, а также критерии и методы обучения. Поддерживаются пакетом наиболее известные нейросетевые парадигмы: многослойная сеть Кохенена, самоорганизующиеся структуры.
Neural Works:
Neural Works, как и Neuro Solution, является мощным средством для моделирования искусственных нейросетей. В отличие от Neuro Solution, в Neural Works основной упор сделан на применение стандартных нейронных парадигм и алгоритмов обучения. В этом плане он превосходит все остальные известные пакеты. В нём реализованы 28 стандартных парадигм, используемых при решении различных прикладных задач. Neural Works содержит также большое число алгоритмов обучения нейросетей.
Дополнительно поставляемый модуль UDND позволяет создавать собственные нейроструктуры и работать с ними средствами Neural Works.
Так же, как и в Neuro Solution, Neural Works имеет хорошо организованную систему визуализации данных. Можно посмотреть структуру Нейросети, изменение весовых коэффициентов в процессе обучения, изменение ошибки обучения, а также корреляцию весов нейросети при обучении.
Корреляция весов является уникальной возможностью, предоставляемой пакетом Neural Works, и весьма полезной при анализе поведения нейросети как при обучении, так и в процессе работы.
Как и Neuro Solution, Neural Works представляет собой открытую систему, в которую можно интегрировать внешний программный модуль, написанный пользователем. Пакет имеет встроенный генератор кода, поддерживающий компилятор Microsoft Visual C++.
Process Advisor:
Process Advisor создавался для решения задач управления динамическими процессами, в частности, технологическими. Тем не менее, разработчикам удалось создать программу, которая вполне может считаться универсальным нейропакетом.
В Process Advisor реализована только многослойная нейросеть прямого распространения, обучаемая с помощью модифицированного алгоритма обратного распространения ошибки (Back Propagation).
Process Advisor позволяет осуществлять управление внешними аппаратными контроллерами, подключаемыми к компьютеру.
Neuro Shell 2:
Этот нейропакет является одной из трёх программ, входящих в состав более крупного пакета The AI Trilogy. Он представляет собой универсальный нейропакет, предназначенный для моделирования нескольких наиболее известных нейронных парадигм: многослойные нейросети, сети Кохенена и т.д.
Neuro Shell 2 многие наши специалисты считают универсальным с натяжкой.
К особенностям этого нейропакета следует отнести жёстко реализованную последовательность действий при работе с нейросетью, например, при невозможно определить структуру сети до того, как заданы входные данные.
В Neuro Shell 2 реализована достаточно мощная система обмена данными с другими приложениями.
Данный нейропакет позволяет читать данные, представленные в текстовом бинарном виде, а также в наиболее популярных финансовых форматах (Meta Stock, Dow Jones).