11. Понятие Data Mining. Приложения Data Mining.

Data mining (добыча знаний) – это процесс выявления скрытых фактов и взаимосвязей в больших массивах данных. Data mining разрешает распространенный парадокс: чем больше накапливается данных о клиентах, тем сложнее и дольше эффективно анализировать эти данные и получать значимые выводы. То, что, по идее, должно быть золотоносной жилой, обычно остается неисследованным из-за отсутствия подходящего персонала, недостатка времени и навыков. Data mining задействует четкое понимание бизнеса и мощные аналитические технологии для быстрого и тщательного изучения больших массивов данных с целью извлечения ценной информации – бизнес аналитики (business intelligence), необходимой для принятия эффективных решений.

Clementine: инструмент для data mining, Clementine позволяет задействовать бизнес-экспертизу на каждом этапе процесса data mining, и, таким образом, создавать мощные прогностические модели, предназначенные для решения конкретных бизнес-задач. SPSS: позволяет использовать мощные статистические методы для усовершенствования процесса принятия решений.

SPSS Classification Trees: позволяет выполнять сегментацию при помощи масштабируемых деревьев решений.

Консалтинг SPSS: независимо от размеров Вашей организации, команда консультантов SPSS может помочь Вам в разработке и внедрении решения data mining, которое будет отвечать индивидуальным потребностям Вашей организации.

В течение последних двух лет пользователи называют Clementine наиболее часто используемым инструментом в опросе, проводимом KDnuggets, ведущим Веб-сайтом по тематике data mining и web mining. А SPSS для Windows и SPSS Classification Trees занимали в этих опросах вторые места.

12. Разведочный анализ данных и его методы. Типы закономерностей, используемых Data Mining.

В отличие от традиционной проверки гипотез, предназначенной для проверки априорных предположений, касающихся связей между переменными (например, "Имеется положительная корреляция между возрастом человека и его/ее нежеланием рисковать"), разведочный анализ данных (РАД) применяется для нахождения связей между переменными в ситуациях, когда отсутствуют (или недостаточны) априорные представления о природе этих связей. Как правило, при разведочном анализе учитывается и сравнивается большое число переменных, а для поиска закономерностей используются самые разные методы.

Методы многомерного разведочного анализа специально разработаны для поиска закономерностей в многомерных данных (или последовательностях одномерных данных). К ним относятся: кластерный анализ, факторный анализ, анализ лискриминантных функций, многомерное шкалирование, логлинейный анализ, канонические корреляции, пошаговая линейная и нелинейная (например, логит) регрессия, анализ соответствий, анализ временных рядов и деревья классификации.

Cогласно В.А.Дюку [1], выделяют пять стандартных типов закономерностей, выявляемых методами Data Mining:

• ассоциация — высокая вероятность связи событий друг с другом (например, один товар часто приобретается вместе с другим);

• последовательность — высокая вероятность цепочки связанных во времени событий (например, в течение определенного срока после приобретения одного товара будет с высокой степенью вероятности приобретен другой);

• классификация — имеются признаки, характеризующие группу, к которой принадлежит то или иное событие или объект (обычно при этом на основании анализа уже классифицированных событий формулируются некие правила);

• кластеризация — закономерность, сходная с классификацией и отличающаяся от нее тем, что сами группы при этом не заданы — они выявляются автоматически в процессе обработки данных;

• временные закономерности — наличие шаблонов в динамике поведения тех или иных данных (типичный пример — сезонные колебания спроса на те или иные товары либо услуги), используемых для прогнозирования.