5. Информационные технологии решения задач классификации и кластеризации.

Задача классификации: для каждого варианта определяется категория или класс, которому он принадлежит. Пример: оценка кредитоспособности потенциального заемщика: назначаемые классы - "кредитоспособен" и "некредитоспособен". Множество классов должно быть известно заранее и быть конечным и счетным.

Задача классификации - наиболее простая и распространенная задача Data Mining. В результате решения задачи классификации обнаруживаются признаки, которые характеризуют группы объектов исследуемого набора данных - классы; по этим признакам новый объект можно отнести к тому или иному классу.

Методы решения. Для решения задачи классификации могут использоваться методы: k-средних; байесовские сети; индукция деревьев решений; нейронные сети.

Задача кластеризации - заключается в делении множества объектов на группы (кластеры) схожих по параметрам. Число кластеров и их характеристики могут быть заранее неизвестны и определяться в ходе построения кластеров исходя из степени близости объединяемых объектов по совокупности параметров. Другое название этой задачи - сегментация. Например, выделение групп клиентов, учитывая их особенности.

Кластеризация является логическим продолжением идеи классификации. Это задача более сложная. Результатом кластеризации является разбиение объектов на группы.

Пример метода решения задачи кластеризации: обучение особого вида нейронных сетей - самоорганизующихся карт Кохонена.

Главное отличие кластеризации от классификации состоит в том, что перечень групп четко не задан и определяется в процессе работы алгоритма.

6. Информационные технологии решения задач прогнозирования.

Задача прогнозирования - заключается в поиске новых значений на основании имеющихся значений числовой последовательности (или нескольких последовательностей, между значениями в которых наблюдается корреляция). При этом могут учитываться имеющиеся тенденции (тренды), сезонность, другие факторы. Классическим примером является прогнозирование цен акций на бирже.

В результате решения задачи прогнозирования на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей.

В самых общих чертах решение задачи прогнозирования сводится к решению таких подзадач:

• выбор модели прогнозирования ;

• анализ адекватности и точности построенного прогноза.

Необходимо помнить, что прогноз остается случайной величиной, поэтому важно найти вероятностные характеристики данного прогноза.

Для решения таких задач широко применяются методы математической статистики, нейронные сети, регрессионные уравнения, модель временного ряда и др.

7. Информационные технологии решения задач определения взаимосвязей.

Задача определения взаимосвязей, также называемая задачей поиска ассоциативных правил, заключается в определении часто встречающихся наборов объектов среди множества подобных наборов. Отыскиваются такие комбинации событий, которые происходят совместно с наибольшей вероятностью. Классическим примером является анализ потребительской корзины, который позволяет определить наборы товаров, чаще всего встречающиеся в одном заказе (или в одном чеке).

В ходе решения задачи поиска ассоциативных правил отыскиваются закономерности между связанными событиями в наборе данных.

Отличие ассоциации от задач классификации и кластеризации: поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно.

Наиболее известный алгоритм решения задачи поиска ассоциативных правил - алгоритм Apriori.