9.2. Методика моделирования с помощью пакета Neuropro

Программный пакет Neuropro разработан в институте вычислительного моделирования Сибирского отделения Академии наук (СО РАН). Данный программный продукт представляет собой менеджер обучаемых искусственных нейронных сетей, работающий в среде MS Windows и позволяющий производить следующие базовые операции:

1. Создание нейропроекта, т.е. подготовка программы для решения задачи построения модели;

2. Подключение к нейропроекту файла (базы) данных в формате db или dbf, созданных в пакетах Access, dBase, FoxBase, FoxPro, Clipper или db в Paradox;

3. Редактирование файла данных – изменение существующих значений и добавление новых записей в базу данных; сохранение файла данных в другом формате;

4. Добавление в проект нейронной сети слоистой архитектуры с числом слоев нейронов от 1 до 10, числом нейронов в слое – до 100;

5. Обучение нейронной сети. На этом этапе выполняется выбор алгоритма обучения (из предлагаемых пакетом), назначается точность модели и осуществляется собственно обучение, т.е. идентификация параметров модели по табличным данным.

6. Тестирование нейронной сети на файле данных, получение информации о точности модели или решаемой задачи;

7. Вычисление показателей значимости входных сигналов сети, сохранение значений показателей значимости в текстовом файле на диске;

8. Упрощение нейронной сети;

При упрощении нейронной сети возможно выполнение следующих операций:

1) сокращение числа входных сигналов нейронной сети путем удаления входных сигналов, наименее значимых для принятия сетью решения.

2) сокращение числа нейронов в слое сети путем удаления нейронов, наименее значимых для принятия сетью решения.

3) сокращение числа связей в нейронной сети путем удаления связей, наименее значимых для принятия сетью решения.

4) бинаризация связей в нейронной сети – приведение весов синапсов к значениям -1 и 1 или значениям из более широкого набора выделенных значений.

9.2.1 Описание главного меню программы

Меню программы содержит следующие пункты, относящиеся к нейронным сетям и работе с ними:

1. Файл - базовые операции с файлами:

Создать – создает новый файл проекта.

Открыть – открывает существующий на диске файл проекта.

Сохранить – сохраняет файл. Возможно сохранение файлов проекта, файлов данных, показателей значимости входных сигналов сети, вербального описания сети.

Сохранить как – сохраняет файл под другим именем или в другом формате. Возможно сохранение файлов проекта, файлов данных, результатов тестирования, показателей значимости входных сигналов сети, вербального описания сети.

Выход – завершение работы программы.

2. Нейросеть – операции с нейронными сетями. Операция выполняется над активной в данный момент в нейропроекте нейросетью.

Веса бинаризованных синапсов – выбор набора выделенных значений, к которым приводятся веса синапсов. После приведения веса синапса к выделенному значению синапс исключается из обучения. Бинаризованные синапсы, веса которых не попадают в выделенные значения, возвращаются в сеть для продолжения обучения.

При сокращении числа входных сигналов после каждого исключения сигнала будет производиться перестройка обучающего множества. Если ранее в обучающее множество не попадали те примеры, где имелись пропущенные значения у входных признаков, то после перестройки обучающего множества в него могут войти новые примеры - те примеры, где пропуски находятся на месте исключенного входного признака.

Обучение – обучение нейронной сети.

Тестирование – тестирование нейронной сети.

3. Анализ обучающего множества – вычисление константы Липшица для обучающей выборки, формирование набора конфликтных примеров в задачнике (набора примеров, для которых одинаковым значениям входных сигналов соответствуют разные значения выходных сигналов).

Сокращение числа входных сигналов – удаление наименее значимых входных сигналов.

Сокращение числа нейронов – удаление наименее значимых нейронов сети.

Сокращение числа синапсов – удаление наименее значимых синапсов сети.

Сокращение числа неоднородных входов – удаление наименее значимых неоднородных входов нейронов сети.

Равномерное упрощение сети – сокращение максимального числа приходящих на нейрон сети сигналов до задаваемого пользователем.

Бинаризация синапсов сети – приведение значений весов синапсов и неоднородных входов нейронов к выделенным значениям

Вербализация – генерация вербального описания нейронной сети.

Значимость входов – подсчет и отображение значимости входных сигналов нейронной сети.

Возмущение весов синапсов – добавление случайных поправок к весам синапсов сети.

Настройка – операции по настройке. Настройки действуют в пределах нейропроекта, сохраняются в его файле и восстанавливаются при его чтении программой.

Метод оптимизации – выбор метода оптимизации для обучения сети. Из реализованных в настоящее время в программе методов (градиентный спуск, модифицированный ParTan метод, метод сопряженных градиентов и квазиньютоновский BFGS-метод) при создании нейропроекта автоматически предлагается ParTan.

Норма накопления значимости – выбор нормы накопления градиента при подсчете показателей значимости.