3154

− динамические модели и прогноз на основе временных рядов.

Значимость статистических методов DM крайне велика - ведь именно в них наиболее последовательно отрабатывается мысль о принципиальной важности использования больших массивов ретроспективных данных для формирования эффективных управленческих решений.

Среди наиболее известных и популярных пакетов статистического анализа следует отметить Statistica, SPSS, Systat, Statgraphics, SAS, BMDP, TimeLab, DataDesk, S-Plus, Scenario (BI).

Второе крупное направление развития связано с кибернетическими методами, основанными на идеях компьютерной математики и методах теории искусственного интеллекта.

4.6.2. Основные методы интеллектуальных вычислений

В основе интеллектуального анализа данных лежит использование интеллектуальных информационных технологий.

Под интеллектуальными информационными технологиями (ИИТ) обычно понимают такие информационные технологии, в которых предусмотрены следующие возможности:

−наличие баз знаний, отражающих опыт конкретных людей, групп, обществ, человечества в целом, при решении творческих задач в определенных сферах деятельности, традиционно считавшихся прерогативой интеллекта человека (например, такие плохо формализуемые задачи, как принятие решений, проектирование, извлечение смысла, объяснение, обучение и т.п.);

−наличие моделей мышления на основе баз знаний: правил и логических выводов, аргументации и рассуждения, распознавания и классификации ситуаций, обобщения и понимания и т.п.;

240

−способность формировать вполне четкие решения на основе нечетких, нестрогих, неполных, недоопределенных данных;

−способность объяснять выводы и решения, т.е. наличие механизма объяснений;

−способность к обучению, переобучению и, следовательно, к развитию.

С понятием интеллектуальных информационных технологий неразрывно связано понятие искусственного интеллекта.

Искусственный интеллект (ИИ) — это область информатики, которая занимается разработкой интеллектуальных компьютерных систем, т.е. систем, обладающих возможностями, которые мы традиционно связываем с человеческим разумом, — понимание языка, обучение, способность рассуждать, решать проблемы и т.д.

Другими словами, исследования в области искусственного интеллекта направлены на разработку программ, решающих такие задачи, с которыми сейчас лучше справляется человек, поскольку они требуют вовлечения таких функций человеческого мозга, как способность к обучению на основе восприятия, особой организации памяти и способности делать выводы на основе суждений.

Технологии ИИ включают в себя искусственные нейронные сети (ИНС), экспертные системы (ЭС), нечеткую (fuzzy) логику (НЛ), генетические алгоритмы (ГА) и т.д. и т.п.

Лежащие в их основе идеи существенно отличаются от общепринятых методов вычислений, имитируя «человеческие», т.е. более понятные технологу, чем «чистому» специалисту по вычислительной технике, пути решения проблем либо «природное», «генетическое» развитие процессов. Например, ИНС-сети обладают способностью к обучению, ЭС-системы принимают решения на основе наборов правил и опыта экспертов, а системы с нечеткой логикой оперируют такими понятиями, как неопределенность

ичастичная/приблизительная истина.

241

Данные методы предназначены для решения очень сложных нелинейных задач, которые либо превышают возможности общепринятых алгоритмических методов, либо требуют для своего решения слишком больших материальных и временных затрат.

Рассмотрим более подробно некоторые из приведенных методов.

4.6.3. Искусственные нейронные сети

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга.

Разработка искусственных нейронных сетей (ИНС, Neural network) началась еще на заре XX столетия, но только в 90-х годах, когда были преодолены некоторые теоретические барьеры, а вычислительные системы стали достаточно мощными, нейронные сети получили широкое признание. Слово «искусственные» в данном контексте иногда используется для того, чтобы подчеркнуть, что речь идет об искусственном устройстве, а не о реальных биологических нейронных системах, которую имеет человек.

Нейросети представляют собой математическую структуру, имитирующую некоторые аспекты работы человеческого мозга и демонстрирующие такие его возможности, как способность к неформальному обучению, способность к обобщению и кластеризации неклассифицированной информации, способность самостоятельно строить прогнозы на основе уже предъявленных временных рядов. Главным их отличием от других методов, например таких, как экспертные системы, является то, что нейросети в принципе не нуждаются в заранее известной модели, а строят ее сами только на основе предъявляемой информации. Именно поэтому нейронные сети и генетические алгоритмы вошли в практику всюду, где нужно решать задачи прогнозирования, классификации, управления —

242

иными словами, в области человеческой деятельности, где есть плохо алгоритмизуемые задачи, для решения которых необходимы либо постоянная работа группы квалифицированных экспертов, либо адаптивные системы автоматизации, каковыми и являются нейронные сети.

По сравнению с традиционными методами математической статистики, классификации и аппроксимации, эти технологии обеспечивают достаточно высокое качество решений при меньших затратах. Они позволяют выявлять нелинейные закономерности в сильно зашумленных неоднородных данных, дают хорошие результаты при большом числе входных параметров и обеспечивают адекватные решения при относительно небольших объемах данных. Сейчас уже накоплен богатый опыт успешного использования нейронных сетей в практических приложениях. По количеству реальных приложений лидируют системы интеллектуального анализа данных в бизнесе и в управлении процессами.

Методы нейронных сетей могут использоваться независимо или же служить прекрасным дополнением к традиционным методам статистического анализа, большинство из которых связаны с построением моделей, основанных на тех или иных предположениях и теоретических выводах (например, что искомая зависимость является линейной или что некоторая переменная имеет нормальное распределение). Нейросетевой подход не связан с такими предположениями — он одинаково пригоден для линейных и сложных нелинейных зависимостей, особенно же эффективен в разведочном анализе данных, когда ставится цель выяснить, имеются ли зависимости между переменными. При этом данные могут быть неполными, противоречивыми и даже заведомо искаженными. Если между входными и выходными данными существует какая-то связь, даже не обнаруживаемая традиционными корреляционными методами, то нейронная сеть способна автоматически настроиться на нее с заданной степенью точности. Кроме того, современные нейронные сети обладают дополнительными возможностями: они позволяют оценивать сравнительную важность

243

различных видов входной информации, уменьшать ее объем без потери существенных данных, распознавать симптомы приближения критических ситуаций и т.д.

Иными словами, отличительными свойствами нейросистем являются следующие:

−любой процесс можно описать в категориях «больше - меньше», «лучше - хуже» и т.д.;

−над нечетко заданными переменными можно производить вычисления и получать ответ с заданной точностью;

−по сравнению с классическими инструментами данный метод сильно сокращает количество промежуточных вычислений, что существенно, когда принятие решения ограничено жесткими временными рамками;

−при нечетком описании процесса предоставляется возможность не только количественного, но и качественного анализа данных.

Элементы нейронных сетей

В основе построения нейронных сетей лежит понятие искусственного нейрона. Искусственный нейрон (формальный нейрон) - элемент искусственных нейронных сетей, моделирующий некоторые функции биологического нейрона. Главная функция искусственного нейрона - формировать выходной сигнал в зависимости от сигналов, поступающих на его входы.

Общий вид искусственного нейрона приведен на рис. 4.9.

Рис. 4.9. Искусственный нейрон

244

Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя.

Синапсы - однонаправленные входные связи, соединенные с выходами других нейронов. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи (вес синапса - wi). Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами - тормозящими.

Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов.

Нелинейный преобразователь - это элемент искусст-

венного нейрона, преобразующий текущее состояние нейрона (выходной сигнал адаптивного сумматора) в выходной сигнал нейрона по некоторому нелинейному закону (активационной функции).

Активационная функция, которую также называют характеристической функцией, - это нелинейная функция, вычисляющая выходной сигнал формального нейрона.

Часто используемые активационные функции:

−линейная: выходной сигнал нейрона равен его потен-

циалу;

−пороговая: нейрон выбирает решение из двух вариантов: активен / неактивен;

−многопороговая: выходной сигнал может принимать одно из значений, определяемых порогом внутри предельных значений;

−сигмоидная: определяется используемой сигмоидной функцией.

Выбор активационной функции определяется спецификой поставленной задачи либо ограничениями, накладываемыми некоторыми алгоритмами обучения.

Нейрон также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов.

245

Таким образом, упрощенно функционирование нейрона можно представить следующим образом:

−нейрон получает по синапсам набор (вектор) входных сигналов;

−в теле нейрона оценивается суммарное значение входных сигналов. Однако входы нейрона неравнозначны. Каждый вход характеризуется некоторым весовым коэффициентом, определяющим важность поступающей по нему информации. Таким образом, нейрон не просто суммирует значения входных сигналов - в теле нейрона вычисляется скалярное произведение вектора входных сигналов и вектора весовых коэффициентов;

−нейрон формирует выходной сигнал, интенсивность которого зависит от значения вычисленного скалярного произведения. Если оно не превышает некоторого заданного порога, то выходной сигнал не формируется вовсе - нейрон «не срабатывает»;

−выходной сигнал поступает на аксон и передается на синапсы других нейронов.

Таким образом, поведение искусственной нейронной сети зависит как от значения весовых параметров, так и от функции возбуждения (активационной функции) всех нейронов сети.

Классификация нейронных сетей и их свойства

Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами.

С точки зрения топологии можно выделить три основных типа нейронных сетей:

−полносвязные (рис. 4.10, а);

−многослойные или слоистые (рис. 4.10, б);

−слабосвязные (с локальными связями) (рис. 4.10, в).

246

Рис. 4.10. Архитектуры нейронных сетей:

а - полносвязная сеть б - многослойная сеть с последовательными связями в - слабосвязные сети

В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

В многослойных нейронных сетях нейроны объединяются в слои (слой - один или несколько нейронов, на входы которых подается один и тот же общий сигнал). Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из нескольких слоев, пронумерованных слева направо (в простейшем случае, слой всего один и такая сеть называется однослойной). Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя.

247

Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько скрытых слоев. Нейроны i-го слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам (i+1) слоя. И так до k-го слоя, который выдает выходные сигналы для интерпретатора и пользователя.

На рисунках 4.11 и 4.12 приведены примеры однослойного и многослойного персептронов, которые были рассмотрены в основополагающей работе Розенблатта.

Рис. 4.11. Однослойный трехнейронный персептрон

Сеть, изображенная на рисунке, имеет n входов, на которые поступают сигналы, идущие по синапсам на 3 нейрона. Эти три нейрона образуют единственный слой данной сети и выдают три выходных сигнала.

Пример двухслойного персептрона представлен на рисунке 4.12.

Сеть, изображенная на рис. 4.12, имеет n входов. На них поступают сигналы, идущие далее по синапсам на 3 нейрона, которые образуют первый слой. Выходные сигналы первого слоя передаются двум нейронам второго слоя. Последние, в свою очередь, выдают два выходных сигнала.

248

Рис. 4.12. Двухслойный персептрон

Врамках одного слоя данные обрабатываются параллельно, а в масштабах всей сети обработка ведется последовательно - от слоя к слою. К слоистым нейронным сетям относятся, например, персептроны, сети радиальных базисных функций, когнитрон, некогнитрон, сети ассоциативной памяти.

Однако сигнал не всегда подается на все нейроны слоя. В когнитроне, например, каждый нейрон текущего слоя получает сигналы только от близких ему нейронов предыдущего слоя.

Связи между нейронами разных слоев называют проективными. Связи, направленные от входных слоев к выходным, называются афферентными. При обратном направлении связей

-эфферентными. Связи между нейронами одного слоя - боковыми (латеральными).

Всвою очередь, среди многослойных нейронных сетей выделяют следующие типы.

1) Монотонные. Это частный случай слоистых сетей с дополнительными условиями на связи и нейроны. Каждый слой кроме последнего (выходного) разбит на два блока: возбуждающий и тормозящий. Связи между блоками тоже разделяются на тормозящие и возбуждающие. Если от нейронов блока А к нейронам блока В ведут только возбуждающие связи, то это означает, что любой выходной сигнал блока является

249