1393

В.В. Жильцов, В.В. Чувикова

ПРАКТИКУМ

ПО НЕЙРОСЕТЕВЫМ

ТЕХНОЛОГИЯМ

Омск 2010

УДК 004.032.26 ББК 22.186 Ж 72

Рецензенты:

д-р техн. наук, проф. В.Г. Хомченко (Омский государственный технический университет);

канд. техн. наук, доц. А.В. Шилер (Омский государственный университет путей сообщения)

Работа одобрена редакционно-издательским советом академии в качестве учебно-методического пособия для студентов специальностей «Прикладная информатика в экономике», «Автоматизированные системы обработки информации и управления».

В.В. Жильцов, В.В. Чувикова.

Ж 72 Практикум по нейросетевым технологиям: учебно-методическое посо-

бие. – Омск: СибАДИ, 2010. 60 с.

Практикум подробно описывает содержание комплекса лабораторных работ по нейросетевым технологиям на базе современного программного продукта Statistica Neural Networks (SNN). Комплекс рекомендуется для практического освоения типовых задач интеллектуальных информационных систем, эффективно решаемых с помощью искусственных нейронных сетей (ИНС). Кратко изложены понятия о моделях, параметрах, свойствах, характеристиках ИНС. Дан обзор распространенных инструментальных средств реализации ИНС. Рассмотрены особенности применения программного пакета SNN для типовых нейросетевых вычислений.

Для студентов высших учебных заведений, обучающихся по специальностям 080808 «Прикладная информатика в экономике» и 230102 «Автоматизированные системы обработки информации и управления». Практикум может быть полезен разработчикам и пользователям интеллектуальных систем с использованием ИНС.

Табл. 6. Ил. 21. Библиогр.: 16 назв.

ГОУ «СибАДИ», 2010

ВВЕДЕНИЕ

Интеллектуальные информационные технологии различает между собой прежде всего то, что положено в основу концепции применяемого искусственного интеллекта. По большому счету – либо оперирование с формализованными знаниями человека на основе символьного подхода (экспертные системы, нечеткая логика), либо со свойственными человеку приемами обучения и мышления (искусственные нейронные сети и эволюционные вычисления).

Во втором случае при построении интеллектуальной информационной системы (далее ИИС) не требуется априорное знание обо всех закономерностях исследуемой предметной области, но необходимо располагать достаточным количеством примеров для настройки разрабатываемой адаптивной ИИС. После обучения на заданных параметрах такая ИИС способна формировать требуемое решение с определенной степенью приближения. В основе указанной адаптивной ИИС содержится искусственная нейронная сеть (далее ИНС).

ИНС представляет собой достаточно новую и перспективную вычислительную технологию, способствующую новым подходам к решению целого ряда задач в науке, технике, экономике и бизнесе. ИНС вошли в практику там, где нужно решать неформализованные задачи, для которых нет известных алгоритмов решения. Для таких задач нейросетевые технологии по эффективности могут существенно превышать традиционные методы.

ИНС наилучшим образом проявляют себя при большом количестве данных, для которых характерны неявные взаимозависимости и закономерности. Здесь ИНС автоматически извлекают и используют различные зависимости, скрытые в данных. К задачам, эффективно решаемым с помощью ИНС, в настоящее время относятся следующие:

аппроксимация функций (построение моделей плохо формализуемых зависимостей), например, в экономике оценка стоимости недвижимости, контроль качества выпускаемой продукции;

классификация образов (указание принадлежности входного образа предварительно определенным классам), например, оценки кредитоспособности, оценка вероятности банкротства;

кластеризация (классификация образа «без учителя»), например, анализ деятельности конкурирующих фирм, сжатие ин-

3

формации в информационных хранилищах;

прогнозирование, например, экономических параметров и фондовых индексов, объемов продаж;

ассоциативная память (память, адресуемая по содержанию), например, для создания хранилищ данных, мультимедийных баз данных;

оптимизация (нахождение решения, удовлетворяющего системе ограничений и максиили минимизирующее целевую функцию), например, доходности работы компании, задачи ценообразования;

управление, например, товарными запасами, динамическими объектами (оптимальное).

Но значительная часть задач моделирования, решаемых ИНС, сводится к представлению в виде аппроксимации, а ИНС выполняет роль универсального инструмента для аппроксимации векторных функций нескольких переменных.

Цель настоящего практикума – получение навыков самостоятельного построения ИНС и практического решения распространенных нейросетевых задач с использованием программного пакета

STATISTICA Neural Networks (SNN).

Практикум состоит из трех глав. В главе 1 кратко изложены концептуальные сведения о параметрах, свойствах, характеристиках и применении ИНС. Глава 2 затрагивает распространенные инструментальные средства реализации технологии нейровычислений. В главе 3 дается описание и основные алгоритмы программного пакета SNN. Глава 4 содержит шесть рекомендуемых лабораторных работ для практического освоения решения типовых нейросетевых задач с использованием пакета SNN. Для каждой лабораторной работы определены вариантные задания на выполнение и соответствующие контрольные вопросы.

4

1. КРАТКИЕ ОБЩИЕ СВЕДЕНИЯ О ПРИМЕНЕНИИ ИНС

Определение 1. ИНС – это упрощенная модель нервной ткани биологического мозга.

Определение 2. ИНС представляет собой совокупность простых дискретно-непрерывных вычислительных элементов – искусственных нейронов, каждый из которых имеет определенное количество входов (дендридов) и единственный выход (аксон), разветвления которого подходят с синапсом, связывающим его с другими нейронами (рис.1).

Определение 3. ИНС – это объединение искусственных нейронов, организованных слоями.

Определение 4. ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами.

Рис. 1. Математическая (кибернетическая) модель искусственного нейрона

Основные параметры искусственного (формального) нейрона[1,7]

Входные сигналы Xi – данные, поступающие из окружающей среды или от других нейронов.

Весовые коэффициенты Wi определяют силу связи между нейронами.

Потенциал (уровень активации) Р выражается взвешенной суммой его входных сигналов.

Передаточная (активационная) функция (функция возбужде-

5

ния или переноса) F служит для вычисления выходного сигнала Y нейрона.

Наиболее распространенные виды передаточной (активационной) функции F представлены на рис. 2.

Общие характеристики ИНС Топология сети – шаблон, определяющий наличие связей между

слоями нейронов и архитектуру ИНС (рис. 3) [6].

Рис.2. Типы передаточных (активационных) функций:

а– пороговая (единичного скачка); б – линейная;

в– логическая (сигмоидальная)

Используемый алгоритм обучения работы сети.

Жизненный цикл ИНС как адаптивной системы состоит из этапа обучения и этапа решения (моделирования) задач.

Парадигмы обучения (определяются доступностью необходимой информации):

обучение с учителем, когда для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход, т.е. наличие обучающей пары, например, метод обратного распространения ошибки;

6

обучение без учителя, когда сеть учится самостоятельно формировать выходные векторы для каждого вектора из обучающего множества, например, методом Хебба [7];

смешанное обучение, часть весов определяется посредством обучения с учителем, а другая часть с помощью алгоритмов самообучения [5].

Рис. 3. Варианты наиболее распространенных архитектур ИНС

Основные свойства ИНС Параллельная обработка информации.

ИНС – вычислительная система с большим количеством параллельно работающих нейронов в качестве простейших процессоров и множеством связей между ними, что обеспечивает высокую скорость обработки информации.

Способность к обучению – адаптация ИНС к предъявляемой обучающей выборке путем модификации ее параметров.

Самообучение – формирование выходов ИНС как реакции на входные воздействия, которое может происходить самостоятельно.

Способность к адаптации – в условной начальной неопределенности и изменяющихся условиях работы достижение стабильного состояния ИНС путем корректировки параметров, структуры и управляющих воздействий ИНС.

Универсальность обработки информации – способности ИНС к обобщению, абстрагированию, ассоциациям.

Свойство надежности – отказ некоторой части нейронов не при-

7

водит к нарушению функционирования всей ИНС при условии содержания в сети большого, избыточного количества нейронов.

Построение ИНС для решения поставленной задачи заключается в выборе типа соединений нейронов (нейросетевой топологии), определении вида передаточных (активационных) функций элементов и обучения путем модификации весовых коэффициентов (синоптических весов) межнейронных связей.

Процесс обучения ИНС включает формирование обучающей выборки, содержащей сведения о моделируемом объекте или явлении, выполнение принятого алгоритма обучения сети и тестирование обученной ИНС.

В качестве примеров коммерческого применения ИНС можно привести следующие:

1)выявление степени рисков при выдаче кредитов банками. Путем анализа сведений по фирме и бизнес-плану кредита [1];

2)прогнозирование валютного курса с учетом параметров экономической и политической обстановки страны [8];

3)диагностика болезни пациентов на основании мониторинга артериального давления, результатов анализов, электрокардиограммы и других данных пациента [1];

4)диагностика элементов добывающих систем механизированного фонда нефтегазовых скважин с использованием самоорганизующихся ИНС (карт) Кохонена на основании таблицы диагностических признаков, которая содержит контролируемые и вычисляемые параметры, нормальные и дефектные состояния [3, 4].

2.ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА РЕАЛИЗАЦИИ ИНС

Сегодня разработано значительное количество коммерческих программных продуктов, пригодных для применения там, где возникает необходимость использования технологии нейровычислений. Существуют универсальные нейросетевые пакеты, предназначенные для решения любых задач, которые можно решить при помощи нейронных сетей, от распознавания речи и образов до решения задач прогнозирования (например, Brain Maker Pro, NeuroSolution) [12, 13].

Существует класс нейросетевых программных продуктов, предназначенных исключительно для решения задач прогнозирования временных рядов. Эти продукты ориентированы на финансовых работников

– трейдеров, биржевых аналитиков и т.д., обладают дружественным

8

графическим интерфейсом и проектируются таким образом, чтобы человек, имеющий даже поверхностное представление о нейронных сетях, смог быстро их освоить. К таким программным продуктам от-

носятся: Neuro Builder, NeuroShell Day Trader, BioComp Profit, NeuroScalp.

Наиболее популярные сегодня в России следующие программные продукты, реализующие нейросетевые подходы к решению задач прогнозирования: Brain Maker Professional, NeuroShell Day Trader, Neuro Builder хх.

Пакет Brain Maker Professional [15] предназначен для построения нейронных сетей обратного распространения. Пакет включает в себя программу подготовки и анализа исходных данных NetMaker, программу построения, обучения и запуска нейросетей BrainMaker, а также набор утилит широкого назначения. Программный пакет ориентирован на широкий круг задач – от создания прогностических приложений до организации систем распознавания образов и нейросетевой памяти. Следует отметить, что организация внутреннего представления нейросетевых моделей является «прозрачной» и легко доступной для программного наращивания. В программе BrainMaker предусмотрена система команд для пакетного запуска.

Существует интерфейсная программа-функция для включения обученных сетей в программы пользователя. В целом пакет может быть интегрирован в программный комплекс целевого использования. Она предназначена для построения нейросети по некоторым исходным установкам, обучения в различных режимах, изменения параметров сети. Программа имеет значительное количество контрольных функций для оптимизации процесса обучения. Помимо этого, программа предоставляет ряд методов анализа чувствительности выходов сети к различным вариациям входных данных, при этом формируется подробный отчет, в соответствии с которым можно дополнительно оценить степень функциональной зависимости входных и выходных значений.

NeuroShell Day Trader [16] – нейросетевая система, которая достаточно легка в использовании. NeuroShell Trader имеет, как и в других стандартных программах, «графический» пользовательский интерфейс.

NeuroShell Trader с легкостью читает стандартные текстовые файлы, а также работает с файлами в формате MetaStock и файлами данных в формате, используемом программами TradeStation,

9