11.1 Аналитическая обработка

Выполнение большинства аналитических запросов пользователей требует сложной статистической обработки данных, применения методов искусственного интеллекта. Современные СУБД, предназначенные для реализации аналитических систем, включают довольно обширный набор средств для статистической обработки информации. Однако, задачи пользователей могут потребовать выполнения специфических операций над данными, поэтому средства анализа могут встраиваться также и в клиентские приложения.

Используется множество методов:

1. Традиционные статистические методы регрессионного, факторного, дисперсионного анализа, анализа временных рядов.

2. Методы искусственного интеллекта: нейронные сети, нечеткая логика, генетические алгоритмы, методы извлечения знаний.

В большинстве случаев средства анализа данных в СППР на основе ХД используются для решения следующих задач:

1. Выделение в данных групп сходных по некоторым признакам записей (кластерный анализ);

2. Нахождение и аппроксимация зависимостей, связывающих анализируемые параметры или события, а также поиск параметров, наиболее значимых в терминах конкретной задачи.

3. Поиск данных, существенно отличающихся от выявленных закономерностей (анализ аномалий);

4. Прогнозирование развития объектов различной природы на основе хранящейся ретроспективной информации об их состоянии в прошлом.

Кластерный анализ („самообучение”) – это метод выделения из множества элементов групп (кластеров) схожих между собой элементов. Предполагается, что элементы одного и того же кластера похожи, а элементы различных кластеров отличаются друг от друга. Как правило, число кластеров заранее не определяется. Кластерный анализ записей без данных осуществляется на основе значений их количественных и качественных атрибутов. При этом делается попытка разнести имеющиеся записи по различным группам. Кластерный анализ применяют при решении большого числа задач. В социологии его используют для обработки результатов опросов общественного мнения, в медицине – для выявления типичных клинических случаев, в маркетинге – для поиска родственных групп клиентов.

Часто выделение кластеров – отправная точка для других алгоритмов интеллектуального анализа данных.

Применение этой процедуры позволяет во многих случаях перейти от обработки всего массива записей к анализу относительного небольшого числа кластеров.

Нахождение зависимостей. Система ИАД эффективно используются для автоматического нахождения зависимостей (как линейных, так и нелинейных). Учет подобных зависимостей позволяет лучше осмыслить предметную область, повысить качество решений, принимаемых на основе анализа ее состояния. Пакеты программ позволяют при обнаружении зависимостей определять их статистические характеристики, производить визуализацию области действия зависимости и выпадающих точек. Современные средства ИАД позволяют также определять переменные, оказывающие наибольшее влияние на значение заданных атрибутов. Например, анализируя медицинские данные о больных, получивших травму, можно выполнить автоматический выбор трех атрибутов, наиболее значимых для определенного времени восстановления больного после травмы. В качестве таких атрибутов могут быть выделены: „возраст”, „физическое состояние больного”, „время до момента оказания квалифицированной помощи”.

Выявление разного рода аномалий в данных, отклонений от общей закономерности. Эта задача связана с предыдущей – отклонения обнаруживаются на основе выявленных равнее зависимостей. Происходит это следующим образом: система, выявляет аномалии, обучается на множестве допустимых записей, формируя их „собирательный образ”. Если запись, предъявляемая впоследствии обученной системе, не удовлетворяет этому образу, система обращает на это внимание пользователя. Наиболее известный практический пример такого рода – система обнаружения случаев мошенничества с кредитными картами Federal Express, разработанная фирмой HNC. Она формирует портрет операций, которые совершает владелец карты, и, если структура его расходов резко меняется, подает сигнал тревоги и блокирует выплаты. Такое изменение чаще всего происходит в случае, если карта похищена, и преступник хочет воспользоваться ею до того, как заявит владелец.

Под прогнозированием понимают процесс формирования вероятности суждения о состоянии какого-либо объекта, процесса или явления в определенный момент времени в будущем. Методы прогнозирования основаны на принципе инерционности развития.