9. Многомерная модель данных

"Многомерный взгляд на данные наиболее характерен для пользователя, занимающегося анализом данных" - это утверждение сегодня стало уже почти аксиомой. Однако, у, впервые прочитавшего это утверждение, возникают вопросы: что такое многомерное представление? откуда появляется многомерность в трехмерном мире? чем многомерность отличается и чем она лучше ставшего уже привычным реляционного представления? откуда могут появиться люди, мыслящие в четырех и более измерениях, и как это им удается? Однако, пользователь, занимающийся анализом, сам не замечая того, действительно имеет многомерность мышления. Весь вопрос в том, что понимать под измерением. Достаточно очевидно, что даже при небольших объемах данных отчет, представленный в виде двухмерной таблицы (Модели компьютеров по оси Y и Время по оси X), нагляднее и информативнее отчета с реляционной построчной формой организации. Реляционная модель представления данных Многомерная модель представления данных Модель Месяц Объем Июнь Июль Август Celeron Июнь 12 "Celeron" 12 24 5 Celeron Июль 24 "Pentium" 2 18 - Celeron Август 5 "Athlon" - 19 - Pentium Июнь 2 Pentium Июль 18 Athlon Июль 19 Но в любом магазине имеется не три модели товара, а значительно больше (например, 30), и анализ проводится не за три, а за 12 месяцев. В случае построчного (реляционного) представления будет получен отчет в 360 строк (30х12), который займет не менее 5-6 страниц. В случае же многомерного (в данном случае двухмерного) представления будет получена достаточно компактная таблица 12 на 30, которая уместится на одной странице и которую, даже при таком объеме данных, можно реально оценивать и анализировать. И когда говорится о многомерной организации данных, вовсе не подразумевается то, что данные представляются конечному пользователю (визуализируются) в виде четырех или пятимерных гиперкубов. Это невозможно, да и пользователю более привычно и комфортно иметь дело с двухмерным табличным представлением и двухмерной бизнес-графикой. При многомерном представление и описании структур данных основными понятиями, с которыми оперирует пользователь и проектировщик в многомерной модели данных, являются: Измерение (Dimension) Это множество однотипных данных, образующих одну из граней гиперкуба. Измерения играют роль индексов, используемых для идентификации конкретных значений (Показателей), находящихся в ячейках гиперкуба. Наиболее часто используемые в анализе измерения: временные -Дни, Месяцы, Кварталы, Годы; географических - Города, Районы, Регионы, Страны и т.д. В многомерной модели данных Ячейка (Cell) Это часть данных, получаемая путем определения одного элемента в каждом измерении многомерного массива. Ячейки гиперкуба могут быть пусты или полны. Когда значительное число ячеек куба не содержит данных, говорят, что он "разрежен". Разреженность (Sparse) Многомерная база данных называется разреженной, если относительно большой процент ячеек содержит пустые (утраченные) данные. Вполне обычны такие наборы данных, которые содержат 1%, 0.01% и даже меньшую долю возможных данных. Показатель (Measure) Иногда вместо термина "Ячейка" используется термин показатель (Measure) - это поле (обычно числовое), значения которого однозначно определяются фиксированным набором измерений.

10. OLAP (от англ. OnLine Analytical Processing — оперативная аналитическая обработка данных, также: аналитическая обработка данных в реальном времени, интерактивная аналитическая обработка данных) — подход к аналитической обработке данных, базирующийся на их многомерномиерархическом представлении, являющийся частью более широкой области информационных технологий — бизнес-аналитики (BI).

С точки зрения пользователя, OLAP-системы представляют средства гибкого просмотра информации в различных срезах, автоматического получения агрегированных данных, выполнения аналитических операций свёртки, детализации, сравнения во времени. Всё это делает OLAP-системы решением с очевидными преимуществами в области подготовки данных для всех видов бизнес-отчетности, предполагающих представление данных в различных разрезах и разных уровнях иерархии — например, отчетов по продажам, различных форм бюджетов и так далее. Очевидны плюсы подобного представления и в других формах анализа данных, в том числе для прогнозирования.

OLAP (англ. on-line analytical processing) – совокупность методов динамической обработки многомерных запросов в аналитических базах данных. Такие источники данных обычно имеют довольно большой объем, и в применяемых для их обработки средствах одним из наиболее важных требований является высокая скорость. В реляционных БД информация хранится в отдельных таблицах, которые хорошо нормализованы. Но сложные многотабличные запросы в них выполняются довольно медленно. Значительно лучшие показатели по скорости обработки в OLAP-системах достигаются за счет особенности структуры хранения данных. Вся информация четко организована, и применяются два типа хранилищ данных: измерения (содержат справочники, разделенные по категориям, например, точки продаж, клиенты, сотрудники, услуги и т.д.) и факты(характеризуют взаимодействие элементов различных измерений, например, 3 марта 2010 г. продавец A оказал услугу клиенту Б в магазине В на сумму Г денежных единиц). Для вычисления результатов в аналитическом кубе применяются меры. Меры представляют собой совокупности фактов, агрегированных по соответствующим выбранным измерениям и их элементам. Благодаря этим особенностям на сложные запросы с многомерными данными затрачивается гораздо меньшее время, чем в реляционных источниках.

Одним из основных вендоров OLAP-систем является корпорация Microsoft. Рассмотрим реализацию принципов OLAP на практических примерах создания аналитического куба в приложениях Microsoft SQL Server Business Intelligence Development Studio (BIDS) и Microsoft Office PerformancePoint Server Planning Business Modeler (PPS) и ознакомимся с возможностями визуального представления многомерных данных в виде графиков, диаграмм и таблиц.

Например, в BIDS необходимо создать OLAP-куб по данным о страховой компании, ее работниках, партнерах (клиентах) и точках продаж. Допустим предположение, что компания предоставляет один вид услуг, поэтому измерение услуг не понадобится.

Сначала определим измерения. С деятельности компании связаны следующие сущности (категории данных):

Точки продаж - Сотрудники - Партнеры

Также создаются измерения Время и Сценарий, которые являются обязательными для любого куба. Далее необходима одна таблица для хранения фактов (таблица фактов). Информация в таблицы может вноситься вручную, но наиболее распространена загрузка данных с применением мастера импорта из различных источников. На следующем рисунке представлена последовательность процесса создания и заполнения таблиц измерений и фактов вручную:

11. Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989 году^[1][2][3].

Английское словосочетание «Data Mining» пока не имеет устоявшегося перевода на русский язык. При передаче на русском языке используются следующие словосочетания^[4]:просев информации, добыча данных, извлечение данных, а, также, интеллектуальный анализ данных^[5][6][7]. Более полным и точным является словосочетание «обнаружение знаний в базах данных» (англ. knowledge discovering in databases, KDD).

Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам Data Mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями Data Mining(обнаружение ранее неизвестных нетривиальных и практически полезных знаний).

Одно из важнейших назначений методов Data Mining состоит в наглядном представлении результатов вычислений, что позволяет использовать инструментарий Data Mining людьми, не имеющими специальной математической подготовки. В то же время, применение статистических методов анализа данных требует хорошего владения теорией вероятностей иматематической статистикой.

Исторический экскурс

Область Data Mining началась с семинара (англ. workshop), проведёного Григорием Пятецким-Шапиро в 1989 году.^[1]

Ранее, работая в компании GTE Labs, Григорий Пятецкий-Шапиро заинтересовался вопросом: можно ли автоматически находить определённые правила, чтобы ускорить некоторые запросы к крупным базам данных. Тогда же было предложено два термина — Data Mining («добыча данных»^[9]) и Knowledge Discovery In Data (который следует переводить как «открытие знаний в базах данных»).

В 1993 году вышла первая рассылка «Knowledge Discovery Nuggets», а в 1994 году был создан один из первых сайтов по Data Mining.

Постановка задачи

Первоначально задача ставится следующим образом:

имеется достаточно крупная база данных;

предполагается, что в базе данных находятся некие «скрытые знания».

Необходимо разработать методы обнаружения знаний, скрытых в больших объёмах исходных «сырых» данных.

Что означает «скрытые знания»? Это должны быть обязательно знания:

ранее не известные — то есть такие знания, которые должны быть новыми (а не подтверждающими какие-то ранее полученные сведения);

нетривиальные — то есть такие, которые нельзя просто так увидеть (при непосредственном визуальном анализе данных или при вычислении простых статистических характеристик);

практически полезные — то есть такие знания, которые представляют ценность для исследователя или потребителя;

доступные для интерпретации — то есть такие знания, которые легко представить в наглядной для пользователя форме и легко объяснить в терминах предметной области.

Эти требования во многом определяют суть методов Data mining и то, в каком виде и в каком соотношении в технологии Data mining используются системы управления базами данных, статистические методы анализа и методы искусственного интеллекта.

Data mining и базы данных

Методы Data mining имеет смысл применять только для достаточно больших баз данных. В каждой конкретной области исследований существует свой критерий «великости» базы данных.

Развитие технологий баз данных сначала привело к созданию специализированного языка — языка запросов к базам данных. Для реляционных баз данных — это язык SQL, который предоставил широкие возможности для создания, изменения и извлечения хранимых данных. Затем возникла необходимость в получении аналитической информации (например, информации о деятельности предприятия за определённый период), и тут оказалось, что традиционные реляционные базы данных, хорошо приспособленные, например, для ведения оперативного учёта (на предприятии), плохо приспособлены для проведения анализа. это привело, в свою очередь, к созданию т. н. «хранилищ данных», сама структура которых наилучшим способом соответствует проведению всестороннего математического анализа.

12.

13. Классификация и регрессия

Распознавание численной (скалярной или векторной) характеристики объекта называется регрессией . Строгое математическое определение регрессии - это условное математическое ожидание одной случайной величины относительно другой, и во многих задачах регрессия распознавательная является-таки регрессией математической.

Распознавание качественной (дискретной) характеристики объекта называется классификацией , число возможных значений q - числом классов, а множество объектов, для которых эта характеристика принимает j-е значение - j-м классом. Ответом распознавателя для каждого объекта лучше считать не номер класса, к которому распознаватель относит объект, а более полное знание, исходя из которого номер класса легко посчитать, - q-мерный вектор "уверенностей" ( confidence ) в принадлежности объекта каждому из классов. Тем самым, классификация превращается в специальный случай регрессии².

В теоретически удобных случаях, когда пространство всех возможных объектов разбито на классы и на нем определена вероятность, "уверенности" в кавычках можно заменить вероятностями без кавычек и для них выполнены вероятностные нормировки (каждая от 0 до 1, сумма всех равна 1). На практике задачу классификации иногда обобщают на случай классов, объединение которых не равно всему пространству, (такая задача сводится к "правильно поставленной" задаче введением дополнительного класса), и даже на случай пересекающихся классов. При этом "уверенности" могут не быть вероятностями в каком-либо строгом смысле. Например, при распознавании рукописных букв на вход распознавателя может попасть вообще не буква. Кроме того, некоторые написания букв `О' заглавное, `о' строчное и цифры `0' абсолютно неразличимы, но считать, что такая замечательно написанная буква `о' является буквой `о' с вероятностью всего лишь около [ 1/3] не всегда полезно для распознавания слова в целом.

В учебной литературе чаще всего изучается задача классификации с двумя более-менее равноправными непересекающимися классами, покрывающими все пространство, или, что почти то же самое, отделение объектов одного класса от всех остальных. В этом случае распознаватель вычисляет ровно одно число ("уверенность" в принадлежности объекта первому классу) и для принятия решения достаточно сравнить эту "уверенность" с некоторым порогом.

Классы могут быть и неравноправны: объекты одного класса могут встречаться на несколько порядков реже, чем объекты другого класса. В этом случае распознавать, какому классу объект принадлежит с большей вероятностью, довольно бессмысленно: почти всегда ко второму. Осмысленно обучать распознаватель оценивать вероятность принадлежности первому (очень редкому) классу.

Дополнительный класс "все остальное" может быть равноправен с настоящими классами (одним или более), а может быть и неравноправен еще и в следующем смысле: объекты дополнительного класса могут быть представлены при обучении классификатора, а могут и отсутствовать. То есть можно обучать классификатор узнаванию буквы `а', не предъявляя ему ни других букв, ни знаков препинания, ни клякс. Другой пример: можно обучать систему голосового набора телефонных номеров распознаванию цифр, не предъявляя ей остальных слов, произносимых при разговоре с телефонным оператором, например, "пожалуйста".

Классификация с любым числом классов может быть сведена, причем разными способами, к решению конечного числа задач двухклассовой классификации. Иногда оказывается, что обучить и скомбинировать несколько двухклассовых классификаторов легче, чем обучить один многоклассовый. А иногда - наоборот. См., например, [HL02].

Получилось, что регрессия (распознавание непрерывных величин) ущемлена в правах по сравнению с классификацией (распознаванием дискретных величин): при наличии вероятностной модели в дискретном случае можно предсказывать распределение вероятностей ответов, а в непрерывном - только сам ответ (например, его математическое ожидание) без каких-либо оценок уверенности в нем. Равноправие можно частично восстановить, предположив, что распределение принадлежит к какому-либо конечномерному семейству, и добавив к пространству ответов дополнительные прямые сомножители, описывающие какие-либо еще параметры распределения. Реальный пример таких параметров - дисперсия в случае одномерной регрессии и матрица ковариации в случае многомерной. А в широко распространенном частном случае, когда распределение является фиксированной центрально симметричной мерой, сдвинутой на какой-то вектор, например, гауссовым распределением с фиксированной матрицей ковариации, единственный распознаваемый (векторный) параметр - это в точности математическое ожидание.

14. Задача кластеризации заключается в том, чтобы на основании данных, содержащихся во множестве Х, разбить множество объектов G на m (m – целое) кластеров (подмножеств) Q₁, Q₂, …, Q_m, так, чтобы каждый объект G_j принадлежал одному и только одному подмножеству разбиения и чтобы объекты, принадлежащие одному и тому же кластеру, были сходными, в то время, как объекты, принадлежащие разным кластерам были разнородными.

Например, пусть G включает n стран, любая из которых характеризуется ВНП на душу населения (F₁), числом М автомашин на 1 тысячу человек (F₂), душевым потреблением электроэнергии (F₃), душевым потреблением стали (F₄) и т.д. Тогда Х₁ (вектор измерений) представляет собой набор указанных характеристик для первой страны, Х₂ - для второй, Х₃ для третьей, и т.д. Задача заключается в том, чтобы разбить страны по уровню развития.

Решением задачи кластерного анализа являются разбиения, удовлетворяющие некоторому критерию оптимальности. Этот критерий может представлять собой некоторый функционал, выражающий уровни желательности различных разбиений и группировок, который называют целевой функцией. Например, в качестве целевой функции может быть взята внутригрупповая сумма квадратов отклонения:

где x_j - представляет собой измерения j-го объекта.

Для решения  задачи кластерного анализа необходимо определить понятие сходства и разнородности.

Понятно то, что объекты i-ый и j-ый попадали бы в один кластер, когда расстояние (отдаленность) между точками Х_i и Х_j было бы достаточно маленьким и попадали бы в разные кластеры, когда это расстояние было бы достаточно большим. Таким образом, попадание в один или разные кластеры объектов определяется понятием расстояния между Х_i и Х_j из Ер, где Ер -р-мерное евклидово пространство. Неотрицательная функция d(Х_i , Х_j) называется функцией расстояния (метрикой), если:

а) d(Х_i , Х_j) ³ 0, для всех Х_i и Х_j из Ер

б) d(Х_i, Х_j) = 0, тогда и только тогда, когда Х_i = Х_j

в) d(Х_i, Х_j) = d(Х_j, Х_i)

г) d(Х_i, Х_j) £ d(Х_i, Х_k) + d(Х_k, Х_j), где Х_j; Х_i и Х_k - любые три вектора из Ер.

Значение d(Х_i, Х_j) для Х_i и Х_j называется расстоянием между Х_i и Х_j и эквивалентно расстоянию между G_i и G_j соответственно выбранным характеристикам (F₁, F₂, F₃, ..., F_р).

Наиболее часто употребляются следующие функции расстояний:

1. Евклидово расстояние      d₂(Х_i , Х_j) = 

2. l₁ - норма                                      d₁(Х_i , Х_j) = 

3. Супремум - норма                        d_¥ (Х_i , Х_j) = sup

k = 1, 2, ..., р

4. l_p - норма                           d_р(Х_i , Х_j) = 

Евклидова метрика является наиболее популярной. Метрика l₁ наиболее легкая для вычислений. Супремум-норма легко считается и включает в себя процедуру упорядочения, а l_p - норма охватывает функции расстояний 1, 2, 3,.

Пусть n измерений Х₁, Х₂,..., Х_n представлены в виде матрицы данных размером p´n:

Тогда расстояние между парами векторов d(Х_i , Х_j) могут быть представлены в виде симметричной матрицы расстояний:

Понятием, противоположным расстоянию, является понятие сходства между объектами G_i. и G_j. Неотрицательная вещественная функция S(Х_i ; Х_j) = S_ij  называется мерой сходства, если :

1) 0£ S(Х_i , Х_j)<1 для Х_i ¹ Х_j

2) S(Х_i , Х_i) = 1

3) S(Х_i , Х_j) = S(Х_j , Х_i)

Пары значений мер сходства можно объединить в матрицу сходства:

Величину S_ij называют коэффициентом сходства.

2. Методы кластеризации

Сегодня существует достаточно много методов кластерного анализа. Остановимся на некоторых из них (ниже приводимые методы принято называть методами минимальной дисперсии).

Пусть Х - матрица наблюдений: Х = (Х₁, Х₂,..., Х_u) и квадрат евклидова расстояния между Х_i и Х_j определяется по формуле:

1) Метод полных связей.

Суть данного метода в том, что два объекта, принадлежащих одной и той же группе (кластеру), имеют коэффициент сходства, который меньше некоторого порогового значения S. В терминах евклидова расстояния d это означает, что расстояние между двумя точками (объектами) кластера не должно превышать некоторого порогового значения h. Таким образом, h определяет максимально допустимый диаметр подмножества, образующего кластер.

2) Метод максимального локального расстояния.

Каждый объект рассматривается как одноточечный кластер. Объекты группируются по следующему правилу: два кластера объединяются, если максимальное расстояние между точками одного кластера и точками другого минимально. Процедура состоит из n - 1 шагов и результатом являются разбиения, которые совпадают со всевозможными разбиениями в предыдущем методе для любых пороговых значений.

3) Метод Ворда.

В этом методе в качестве целевой функции применяют внутригрупповую сумму квадратов отклонений, которая есть ни что иное, как сумма квадратов расстояний между каждой точкой (объектом) и средней по кластеру, содержащему этот объект. На каждом шаге объединяются такие два кластера, которые приводят к минимальному увеличению целевой функции, т.е. внутригрупповой суммы квадратов. Этот метод направлен на объединение близко расположенных кластеров.

4) Центроидный метод.

Расстояние между двумя кластерами определяется как евклидово расстояние между центрами (средними) этих кластеров:

d² _ij  =  (`X –`Y)^Т(`X –`Y) Кластеризация идет поэтапно на каждом из n–1 шагов объединяют два кластера G и p, имеющие минимальное значение d²_ij Если n₁ много больше  n_2,  то центры объединения двух кластеров близки друг к другу и характеристики  второго кластера при объединении кластеров практически игнорируются. Иногда этот метод иногда называют еще методом взвешенных групп.

15. ЗАДАЧА ПОИСКА АССОЦИАТИВНЫХ ПРАВИЛ

Ассоциация - это одна из задач Data Mining. Целью поиска ассоциативных правил (association rule) является нахождение закономерностей между связанными событиями в базах данных [10-16].

Очень часто покупатели приобретают не один товар, а несколько. В большинстве случаев между этими товарами существует взаимосвязь. Так, например, покупатель, приобретающий лак для ногтей, скорее всего, захочет приобрести также средство для снятия лака. Эта информация может быть использована для размещения товара на прилавках.

Часто встречающиеся приложения с применением ассоциативных правил:

а)розничная торговля: определение товаров, которые стоит продвигать совместно; выбор местоположения товара в магазине; анализ потребительской корзины; прогнозирование спроса;

б)перекрестные продажи: если есть информация о том, что клиенты приобрели продукты A, Б и В, то какие из них вероятнее всего купят продукт Г?

в)маркетинг: поиск рыночных сегментов, тенденций покупательского поведения;

г)сегментация клиентов: выявление общих характеристик клиентов компании, выявление групп покупателей;

д)оформление каталогов, анализ сбытовых кампаний фирмы, определение последовательностей покупок клиентов (какая покупка последует за покупкой товара А);

е)анализ Web-логов.

Простой пример ассоциативного правила: покупатель, приобретающий шампунь для волос, приобретет кондиционер для волос с вероятностью 50%.

Впервые задача поиска ассоциативных правил (association rule mining) была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis) [10-12].

Рыночная корзина ? это набор товаров, приобретенных покупателем в рамках одной отдельно взятой транзакции.

Транзакции являются достаточно характерными операциями, или, например, могут описывать результаты посещений различных магазинов.

Транзакция ? это множество событий, которые произошли одновременно.

Регистрируя все бизнес-операции в течение всего времени своей деятельности, торговые компании накапливают огромные собрания транзакций. Каждая такая транзакция представляет собой набор товаров, купленных покупателем за один визит.

Полученные в результате анализа шаблоны включают перечень товаров и число транзакций, которые содержат данные наборы.

Транзакционная или операционная база данных (Transaction database) представляет собой двумерную таблицу, которая состоит из номера транзакции (TID) и перечня покупок, приобретенных во время этой транзакции.? уникальный идентификатор, определяющий каждую сделку или транзакцию.

Пример транзакционной базы данных, состоящей из покупательских транзакций, приведен в таблице 2.2. В таблице первая колонка (TID) определяет номер транзакции, во второй колонке таблицы приведены товары, приобретенные во время определенной транзакции [10-13].

На основе имеющейся базы данных требуется найти закономерности между событиями, то есть покупками.

Таблица 2.2 - Транзакционная база данных TID

TIDПриобретенные покупки1Пена для бритья, гель для душа, бальзам после бритья2Гель для душа, мыло3Гель для душа, пена для бритья, мыло, бальзам после бритья4Духи, мыло5Пена для бритья, гель для душа, бальзам после бритья, мыло6Крем для тела

16. Выявление и использование формализованных закономерностей, или дистилляция шаблонов. При технологии дистилляции шаблонов один образец (шаблон) информации извлекается из исходных данных и преобразуется в некие формальные конструкции, вид которых зависит от используемого метода Data Mining. Этот процесс выполняется на стадии свободного поиска, у первой же группы методов данная стадия в принципе отсутствует. На стадиях прогностического моделирования и анализа исключений используются результаты стадии свободного поиска, они значительно компактнее самих баз данных. Методы этой группы: логические методы; методы визуализации; методы кросс-табуляции; методы, основанные на уравнениях. Различные методы Data Mining характеризуются определенными свойствами, которые могут быть определяющими при выборе метода анализа данных. Методы можно сравнивать между собой, оценивая характеристики их свойств. Среди основных свойств и характеристик методов Data Mining рассмотрим следующие: точность, масштабируемость, интерпретируемость, проверяемость, трудоемкость, гибкость, быстрота и популярность.

17. Вторая стадия Data Mining - прогностическое моделирование - использует результаты работы первой стадии. Здесь обнаруженные закономерности используются непосредственно для прогнозирования.

Прогностическое моделирование включает такие действия:

•              предсказание неизвестных значений (outcome prediction);

•              прогнозирование развития процессов (forecasting).

В процессе прогностического моделирования решаются задачи классификации и прогнозирования.

При решении задачи классификации результаты работы первой стадии (индукции правил) используются для отнесения нового объекта, с определенной уверенностью, к одному из известных, предопределенных классов на основании известных значений.

При решении задачи прогнозирования результаты первой стадии (определение тренда или колебаний) используются для предсказания неизвестных (пропущенных или же будущих) значений целевой переменной (переменных).

Продолжая рассмотренный пример первой стадии, можем сделать следующий вывод.

Зная, что соискатель ищет руководящую работу и его стаж > 15 лет, на 65 % можно быть уверенным в том, что возраст соискателя > 35 лет. Или же, если возраст соискателя > 35 лет и желаемый уровень вознаграждения > 1200 условных единиц, на 90% можно быть уверенным в том, что соискатель ищет руководящую работу.

Свободный поиск раскрывает общие закономерности. Он по своей природе индуктивен. Закономерности, полученные на этой стадии, формируются от частного к общему. В результате мы получаем некоторое общее знание о некотором классе объектов на основании исследования отдельных представителей этого класса.

Правило: "Если возраст соискателя < 20 лет и желаемый уровень вознаграждения > 700 условных единиц, то в 75% случаев соискатель ищет работу программиста"

На основании частного, т.е. информации о некоторых свойствах класса "возраст < 20 лет" и "желаемый уровень вознаграждения > 700 условных единиц", мы делаем вывод об общем, а именно: соискатели - программисты.

Прогностическое моделирование, напротив, дедуктивно. Закономерности, полученные на этой стадии, формируются от общего к частному и единичному.

Здесь мы получаем новое знание о некотором объекте или же группе объектов на основании:

• знания класса, к которому принадлежат исследуемые объекты;

• знание общего правила, действующего в пределах данного класса объектов.

Знаем, что соискатель ищет руководящую работу и его стаж > 15 лет, на 65% можно быть уверенным в том, что возраст соискателя > 35 лет.

На основании некоторых общих правил, а именно: цель соискателя - руководящая работа и его стаж > 15 лет, мы делаем вывод о единичном - возраст соискателя > 35 лет.

Следует отметить, что полученные закономерности, а точнее, их конструкции, могут быть прозрачными, т.е. допускающими толкование аналитика (рассмотренные выше правила), и непрозрачными, так называемыми "черными ящиками". Типичный пример последней конструкции - нейронная сеть.