77. Методы анализа эмпирических данных. Кластерный и факторный анализ.

Кластерный анализ — задача разбиения заданной выборки объектов (ситуаций) на подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались.

Кластер — группа элементов, характеризуемых общим свойством, главная цель кластерного анализа — нахождение групп схожих объектов в выборке.

Независимо от предмета изучения применение кластерного анализа предполагает следующие этапы:

· Отбор выборки для кластеризации.

· Определение множества переменных, по которым будут оцениваться объекты в выборке.

· Вычисление значений той или иной меры сходства между объектами.

· Применение метода кластерного анализа для создания групп сходных объектов.

· Проверка достоверности результатов кластерного решения.

Факторный анализ — многомерный статистический метод, применяемый для изучения взаимосвязей между значениями переменных.

Факторный анализ позволяет решить две важные проблемы исследователя: описать объект измерения всесторонне и в то же время компактно. С помощью факторного анализа возможно выявление скрытых переменных факторов, отвечающих за наличие линейных статистических связей корреляций между наблюдаемыми переменными.

Таким образом можно выделить 2 цели факторного анализа:

§ определение взаимосвязей между переменными, (классификация переменных);

§ сокращение числа переменных.

При анализе в один фактор объединяются сильно коррелирующие между собой переменные, как следствие происходит перераспределение дисперсии между компонентами и получается максимально простая и наглядная структура факторов. После объединения коррелированность компонент внутри каждого фактора между собой будет выше, чем их коррелированность с компонентами из других факторов. Эта процедура также позволяет выделить латентные переменные, что бывает особенно важно при анализе социальных представлений и ценностей.

Факторный анализ может быть:

§ разведочным — он осуществляется при исследовании скрытой факторной структуры без предположения о числе факторов и их нагрузках;

§ конфирматорным, предназначенным для проверки гипотез о числе факторов и их нагрузках.

Практическое выполнение факторного анализа начинается с проверки его условий. В обязательные условия факторного анализа входят:

§ Все признаки должны быть количественными.

§ Число наблюдений должно быть в два раза больше числа переменных.

§ Выборка должна быть однородна.

§ Исходные переменные должны быть распределены симметрично.

§ Факторный анализ осуществляется по коррелирующим переменным[3].

При анализе и прогнозировании социально-экономических явлений исследователь довольно часто сталкивается с многомерностью их описания. Методы многомерного анализа - наиболее действенный количественный инструмент исследования социально-экономических процессов, описываемых большим числом характеристик. К ним относятся кластерный анализ, таксономия, распознавание образов, факторный анализ.

Кластерный анализ наиболее ярко отражает черты многомерного анализа в классификации, факторный анализ - в исследовании связи.

Название кластерный анализ происходит от английского слова cluster - гроздь, скопление. Впервые в 1939 был определен предмет кластерного анализа и сделано его описание исследователем Трионом. Главное назначение кластерного анализа - разбиение множества исследуемых объектов и признаков на однородные в соответствующем понимании группы или кластеры. Это означает, что решается задача классификации данных и выявления соответствующей структуры в ней.

Задача кластерного анализа заключается в том, чтобы на основании данных, содержащихся во множестве Х, разбить множество объектов G на m (m - целое) кластеров (подмножеств) Q1, Q2, …, Qm, так, чтобы каждый объект Gj принадлежал одному и только одному подмножеству разбиения и чтобы объекты, принадлежащие одному и тому же кластеру, были сходными, в то время, как объекты, принадлежащие разным кластерам были разнородными.

Решением задачи кластерного анализа являются разбиения, удовлетворяющие некоторому критерию оптимальности. Этот критерий может представлять собой некоторый функционал, выражающий уровни желательности различных разбиений и группировок, который называют целевой функцией.

Большое достоинство кластерного анализа в том, что он позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов, и позволяет рассматривать множество исходных данных практически произвольной природы.

Кластерный анализ позволяет рассматривать достаточно большой объем информации и резко сокращать, сжимать большие массивы социально-экономической информации, делать их компактными и наглядными.

Как и любой другой метод, кластерный анализ имеет определенные недостатки и ограничения: В частности, состав и количество кластеров зависит от выбираемых критериев разбиения. При сведении исходного массива данных к более компактному виду могут возникать определенные искажения, а также могут теряться индивидуальные черты отдельных объектов за счет замены их характеристиками обобщенных значений параметров кластера. При проведении классификации объектов игнорируется очень часто возможность отсутствия в рассматриваемой совокупности каких-либо значений кластеров.

Факторный анализ — группа методов многомерного статистического анализа, которые позволяют представить в компактной форме обобщенную информацию о структуре связей между наблюдаемыми признаками изучаемого социального объекта на основе выделения некоторых скрытых, непосредственно не наблюдаемых факторов.

Анализ факторный в его классическом варианте разработан для данных, полученных при измерениях по интервальным шкалам. Это ограничение связано с предположениями формальной модели, на которой базируется классический анализ факторный. Считают, что изучаемый социальный объект описывается набором признаков (n - общее число используемых признаков), т. е. информация о нем может быть представлена в форме матрицы данных "объект-признак" ( ), N = 1, 2, ..., n, где - значение j-го признака , на i-м объекте, N - общее число объектов. Каждому признаку поставим в соответствие признак , являющийся приведением первого признака к стандартной форме в результате следующего преобразования: , где и соответственно среднее значение и стандартное отклонение признака . Признаки , заданные в стандартной форме, имеют нулевое среднее и единичную дисперсию.

Основное предположение анализа факторного заключается в том, что каждый наблюдаемый признак можно выразить в виде суммы некоторых других, не наблюдаемых признаков (факторов), умноженных каждый на свой коэффициент. Эти коэффициенты принято называть факторными нагрузками. Значения факторных нагрузок, как правило, и являются результатом вычислительной процедуры анализа факторного, т. е. именно они служат основой для содержательных выводов.

Главными целями факторного анализа являются: сокращение числа переменных (редукция данных) и определение структуры взаимосвязей между переменными, т.е. классификация переменных. Поэтому факторный анализ используется или как метод сокращения данных или как метод классификации.