8.4. Интеллектуальный анализ данных (Data Mining)

Интеллектуальный анализ данных (Data Mining) – процесс выявления тенденций, трендов, взаимных корреляций данных, находящихся в хранилище, с использованием статистических и кибернетических методов.

Алгоритмы метода требуют большого количества информации, причем достоверной и точной, чтобы обнаруженные зависимости оказались верными. Такую концепцию может представить только хранилище данных (см. рис. 2).

Цель Data Mining – поиск скрытых от аналитика функциональных и логических закономерностей, тенденций в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии или прогнозируют развитие рассматриваемых процессов.

Методы Data Mining можно разделить на две группы: статистические и кибернетические.

Статистические методы Data Mining следующие:

 дескриптивный анализ и описание исходных данных;

 анализ связей (корреляционный, регрессионный, факторный, дисперсионный анализ);

 многомерный статистический анализ (компонентный, дискриминантный, многомерный регрессионный анализ, канонические корреляции и др.);

 анализ временных рядов (динамические модели и прогнозирование).

К кибернетическим методам Data Mining относятся:

 искусственные нейронные сети;

 эволюционное программирование;

 генетические алгоритмы (оптимизация);

 ассоциативная память (поиск аналогов, прототипов);

 нечеткая логика;

 деревья решений;

 системы обработки экспертных знаний.

Большинство инструментов Data Mining (пакеты Deductor, Statastica), имеющихся на рынке программного обеспечения, реализуют комплекс перечисленных методов.

Технология Data Mining позволяет решать следующие задачи:

 Классификация. Является наиболее простой и распространенной задачей Data Mining. В результате решения задачи классификации обнаруживаются признаки, которые характеризуют группы объектов исследуемого набора данных – классы. По этим признакам новый объект можно отнести к тому или иному классу.

 Кластеризация. Особенность кластеризации заключается в том, что классы объектов изначально не предопределены. Результатом кластеризации является разбиение объектов на группы.

 Ассоциация. В процессе поиска ассоциативных правил отыскиваются закономерности между связанными событиями в наборе данных. Поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно.

 Последовательная ассоциация. Позволяет найти временные закономерности между транзакциями. Ее целью является установление закономерностей между событиями, связанными во времени. Правило последовательности: после события X через определенное время произойдет событие Y. Решение данной задачи широко применяется в маркетинге и менеджменте, например, при управлении циклом работы с клиентом в CRM-системах.

 Прогнозирование. На основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей.

 Определение отклонений или выбросов. Это обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов.

 Оценивание. Сводится к предсказанию непрерывных значений признака.

 Анализ связей. Это задача нахождения зависимостей в наборе данных.

 Визуализация. В результате визуализации создается графический образ анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных. Данные могут быть представлены в 2D- и 3D- измерениях.

Следует отметить, что в настоящее время наибольшее распространение технология Data Mining получила при решении следующих задач:

 информационно-аналитические системы в бизнесе;

 решение задач государственной безопасности;

 научные исследования;

 анализ Web-контентов.

Одно из наиболее перспективных направлений применения Data Mining – использование данной технологии в аналитическом CRM.

CRM (Customer Relationship Management) – управление отношениями с клиентами.

Важным аспектом в работе отделов маркетинга и отдела продаж является составление целостного представления о клиентах (информация об их особенностях, о характеристиках, структуре клиентской базы). В CRM используется так называемое профилирование клиентов, дающее полное представление всей необходимой информации о них. Профилирование клиентов включает следующие компоненты: сегментация клиентов, прибыльность клиентов, удержание клиентов, анализ реакции клиентов. Каждый из этих компонентов может исследоваться при помощи Data Mining, а анализ их в совокупности как компонентов профилирования в результате может дать те знания, которые из каждой отдельной характеристики получить невозможно.

Определяя закономерности поведения клиентов при помощи технологии Data Mining, можно существенно повысить эффективность работы отделов маркетинга, продаж и сбыта. При объединении технологий CRM и Data Mining и грамотном их внедрении в бизнес организация получит значительные преимущества перед конкурентами.