Последовательный симплексный метод Этот метод требует проведения минимально возможного числа опытов при определении направления движения.

Симплексом в n-мерном пространстве называют многогранник с (n+1)-й вершиной. Если расстояния между вершинами симплекса одинаковы, такой симплекс называют регулярным. Симплексный метод включает в себя следующие основные процедуры:

1. Линейное преобразование входных переменных с таким расчетом, чтобы изменение каждой из них на единицу одинаково сказывалось бы на изменении выходной переменной.

2. Построение регулярного симплекса и реализация опытов в вершинах симплекса.

3. Отбрасывание вершины с минимальным значением целевой величины и построение нового симплекса, который образуется оставшимися вершинами исходного симплекса и новой вершиной, получаемой зеркальным отображением отброшенной вершины относительно противоположной ей -мерной грани исходного симплекса. Координаты этой новой вершины рассчитываются по формуле:,

где − номер отброшенной вершины.

4. Проведение эксперимента в вершине и возврат к п. 3. Если оказывается, что выходная переменная в новой вершине приняла значение меньшее, чем в остальных вершинах симплекса, то следует возвратиться к предыдущему симплексу. Во избежание зацикливания в качестве отбрасываемой выбирают вершину, в которой выходная переменная имеет величину, следующую по порядку за наихудшей вершиной симплекса. Аналогично следует поступать, если новая вершина выходит за пределы симплекса.

5. Если при перемещении симплекса за шагов некоторая вершина сохраняет свое положение, то симплекс совершит оборот относительно этой вершины. Это означает достижение области оптимума. Другим условием достижения оптимума является выполнение неравенства:, где – малая величина (порог), – среднее значение выходной величины в вершинах симплекса.

К числу достоинств симплексного метода наряду с экономичностью по числу опытов и простотой вычислений следует отнести также возрастание эффективности метода с ростом числа входных переменных, устойчивость выделения направления движения, поскольку оно определяется только соотношением целевых величин, а не их абсолютными значениями.

Графическая иллюстрация симплексного метода при двух входных переменных приведена на рис.5. Здесь поверхность отклика задается линиями уровня.

x₂

x₁

Рис. 5. Схема последовательного симплексного метода

2. Основные этапы факторного анализа.

Основные этапы факторного анализа

Вычислительный аспект факторного анализа связан с определением факторного отображения В, дисперсий характерных факторов и оценкой значений общих факторов. Оценка этих параметров производится на основании экспериментальных данных, полученных в ходе наблюдений надNобъектами (индивидами). Результаты наблюдений представляются в виде матрицы исходных данных, аналогичной (11.1). По матрицеХвычисляется корреляционная матрицаR. Затем начинаются этапы собственно факторного анализа. Первый этап – оценка общностей. Если общности оценены, то по формуле (11.5) можно оценить характерности, а следовательно, и матрицуW, которая является диагональной согласно предпосылкам факторного анализа. Заменяя диагональные элементы матрицыRна оценки общностей, получают матрицу, которая является информационной основой второго этапа выделения факторов. На этом этапе решают тем или иным способом матричное уравнение, получая в итоге ортогональную матрицуA. Возможно большое число матрицA, которые одинаково хорошо будут воспроизводить матрицу. Из них должна быть выбрана одна, что составляет содержание третьего этапа – вращения факторов. И, наконец, на последнем, четвертом, этапе оцениваются значения факторов для каждого объекта (индивида). На практике, однако, из-за большого объема вычислений часто ограничиваются первыми тремя этапами, причем первый и второй выполняются одновременно.

Выделение факторов. Выделение факторов предполагает установление числа и направления осей координат, соответствующих общим факторам, необходимым для отображения корреляции исходных переменных. С алгебраической точки зрения проблема факторов означает определение ранга матрицыАи оценивание ее элементов. Для решения задачи выделения факторов разработано достаточно много методов, однако основными в настоящее время следует признать два: метод главных факторов, наиболее широко употребляемый на практике, и метод максимального правдоподобия, имеющий прочный математико-статистический фундамент.

Метод главных факторов.Как следует из фундаментальной теоремы факторного анализа (11.3),. Приравняем вначалеWнулевой матрице. Получим матричное уравнение. (11.6)

Матричное уравнение (11.6) имеет множество решений: любое ортогональное преобразование Т, переводящее матрицуВвG, т.е.G = ВТ, удовлетворяет (11.6). Действительно, в силу ортогональностиТимеет местои, значит,. Подставляя выражение дляВв (11.6), получаем, посколькуT′T=I.

Как известно из линейной алгебры, ортогональное преобразование системы координат означает поворот системы как целого на некоторый угол вокруг начала координат. Выделяя некоторое предпочтительное направление и фиксируя тем самым угол поворота системы координат, можно обойти проблему неоднозначности решения системы (11.6).

Вернемся на время к методу главных компонент. Выбор осей координат здесь подчинен определенному требованию: каждая следующая ось ориентирована по направлению максимальной дисперсии в пространстве, ортогональном предыдущим главным компонентам. Матрица весовых коэффициентов Апри этом составлена из собственных векторов ковариационной (корреляционнойR) матрицы. Следовательно,

, (11.7)

где – диагональная матрицaс элементами, равными собственным значениям корреляционной матрицы. Умножая (11.7) насправа и учитывая ортогональностьA, а значит, получаем:.

Обозначим через матрицу порядка, элементы которой равняются квадратному корню из соответствующих элементов матрицы Λ. Перейдем отAк. Выражение дляRпримет вид:

. (11.8)

Сравнивая (11.6) и (11.8), получаем, что в качестве оценки матрицы Вможно взять матрицу.

Таким образом, матрица факторных нагрузок получается из матрицы, составленной из собственных векторов корреляционной матрицы исходных признаков, с последующим умножением элементов собственного вектора, отвечающего i-му собственному значениюна.

Матрицы BиQ имеют разный порядок:уВиуQ, поэтому правильнее говорить, что оценкой будут первыеmстолбцов матрицыQ.

Посчитав матрицу Wравной нулю, мы для оценки матрицыBвоспользовались моделью главных компонент. Строго говоря, под методом главных факторов понимают способ расчета, принятый в методе главных компонент, но примененный к матрице(оценка общностей рассматривается ниже).

0ценка числа общих факторов. Общепризнанного метода определения числаmобщих факторов, подлежащих выделению, не существует. Однако разработан ряд критериев, с помощью которых можно сделать достаточно обоснованное заключение.

Широкое применение получил сравнительно простой критерий собственных значений: выделять только те факторы, которые соответствуют собственным значениям, большим единицы.

Рассмотрим матрицу .Справедлива следующая цепочка равенств:.

Полученное соотношение показывает, что сумма квадратов нагрузок i-го общего фактора на исходные признаки равняетсяi-му собственному значению. Нохарактеризует вкладi-го общего фактора в полную дисперсию (напомним, что полная дисперсия равняется следу корреляционной матрицыRи). Поэтому факторы, вклады которых меньше единицы, имеют долю дисперсии, меньшую единичной дисперсии исходных признаков, и их нецелесообразно включать в число общих факторов.

Считается также, что вклад общих факторов в суммарную общность должен составлять около 90%, а число общих факторов не должно превышать половины числа исходных признаков, т.е. m<n/2, а более точно,.

К проблеме оценки числа факторов можно подойти со статистической точки зрения. Ранее отмечалось, что если коэффициенты корреляции после учета mфакторов незначимо отличаются от нуля, то нет необходимости вводить (m+1)-й фактор. Другими словами, равенстводолжно выполняться в статистическом смысле (здесь− матрица факторных нагрузок с числом факторов, равнымm). Для оценки значимости матрицыR(в самом начале факторного анализа) либо матрицыиспользуется критерий Бартлетта − Уилкса

с n(n-1)/2степенями свободы, либо его аппроксимация, где– элементы матрицы.

Если все эти критерии дают не противоречащие друг другу решения, то удовлетворяются этими mфакторами.

Метод максимального правдоподобия. В этом методе по выборочной корреляционной матрицеисходных признаков ищутся состоятельные и эффективные оценки неизвестных параметров − элементов матрицВиWдля генеральной совокупности. При построении функции максимального правдоподобия существенно используются предпосылки факторного анализа. Максимизация функции правдоподобия приводит к множественности результатов. Неоднозначность обходится требованием, чтобы матрица

(11.9)

имела диагональный вид. Это условие соответствует требованию метода главных факторов о взаимной ортогональности факторов и их ориентации по направлению максимума дисперсии.

Система (11.9) может быть приведена к виду, удобному для вычислений итерационным путем:

. (11.10)

Скорость сходимости итерационной процедуры является весьма медленной и зависит от начального приближения BиW.

В методе максимального правдоподобия проблема определения числа факторов также существует. Пусть расчеты по (11.10) проведены для mобщих факторов. Для проверки гипотезы о существованииmобщих факторов можно воспользоваться критерием

cстепенями свободы.

В этой формуле – определитель матрицы корреляций, воспроизведенных с помощьюmобщих факторов. Если вычисленное значение критерия превышает табличное значениепри выбранном уровне значимости, то необходимо выделить факторов больше, чемm, по крайней мере ,m+1.

Оценка общностей. Проблемы оценки общностей и оценки факторов тесно переплетаются. Если значения общностей установлены, то матрицастановится полностью известной и для нее может быть установлен ранг, т.е. минимально необходимое число общих факторов. Если вначале установлено числоmобщих факторов, то значения общностей подбирают таким образом, чтобы ранг матрицыприближался к этому числу. Существует несколько способов оценивания общности. Мы их рассмотрим вкратце, поскольку при большом числе переменных точность оценивания общностей практически не сказывается на результатах факторного анализа.

Наиболее теоретически обоснован и чаще всего рекомендуется в качестве оценки общности i-го признака коэффициент множественной корреляцииi-го исходного признака с остальными (n–1) признаками.

Значение вычисляется по формуле:, (11.11)

где – диагональный элемент обратной корреляционной матрицы.

При проведении факторного анализа на ЭВМ во многих случаях используют итерационную процедуру вычисления общностей. На каждой итерации с помощью метода главных факторов определяют матрицу факторных нагрузок, а по ней находят оценки общностей, которые используются в следующей итерации. В качестве начaльного приближения используют коэффициент множественной корреляции (11.11).

Вращение факторов. Исследование с помощью факторного анализа следует признать успешным, если выявлено не только число общих факторов, но и дано содержательное толкование тем внутренним, скрытым причинам (общим факторам), которые обусловили результаты наблюдений. С целью облегчения процесса интерпретации общих факторов осуществляется третий этап факторного анализа – вращение факторов. Выше указывалось, что матричное уравнениеимеет бесконечное число решений (с точностью до ортогонального преобразованияТ). Рассмотренные методы выделения факторов однозначно устанавливают положение системы координат, однако за счет введения дополнительных ограничений. Оси, соответствующие общим факторам, ориентируются последовательно по максимуму оставшейся дисперсии. Такая ориентация координат оказывается существенной в методе главных компонент, ориентированном на дисперсии. Основная цель факторного анализа – объяснение корреляций между исходными признаками. Окончательную ориентацию осей координат здесь производят из других соображений, а именно: с точки зрения содержательной интерпретации общих факторов. Для этого систему координат в пространстве общих факторов поворачивают как целое вокруг ее начальной точки, что эквивалентно умножению факторного отображенияВна ортогональную матрицуТсправа.

Процедуру вращения рассмотрим на примере. По результатам успеваемости построена корреляционная матрица оценок по шести предметам: математике, физике, истории, литературе, родному языку, иностранному языку. Одним из методов выделены два общих фактора. Корреляционная матрица и матрица факторных нагрузок приведены в табл.26.

Таблица 26

№ признака	Корреляционная матрица						Общий фактор1	Общий фактор2
1	1	0,50	0,32	0,20	0,22	0,12	0,6	0,6
2	0,50	1	0,21	0,15	0,16	0,07	0,4	0,4
3	032	0,21	1	0,44	0,67	0,41	0,7	0,2
4	0,20	0,15	0,44	1	0,56	0	0,6	-0,2
5	0,22	0,16	0,67	0,56	1	0,51	0,8	-0,4
6	0,12	0,07	0,41	0,33	0,51	1	0,5	-0,3

Интерпретация полученных общих факторов представляет определенные трудности: необходимо выявить то общее, что обусловило высокие нагрузки на все шесть предметов у первого фактора, и на первый, второй и пятый – у второго, причем последняя значимая нагрузка − отрицательна.

На рис. 14 приводится графическая иллюстрация полученного факторного отображения (номера точек 1-6 соответствуют строкам матрицы факторного отображения).

Рис.14. Поворот системы координат

Повернем оси координат по часовой стрелке так, чтобы сгусток, состоящий из точек 3-6, оказался как можно ближе к оси . Угол поворотасоставляет как видно из рисунка,. Матрица преобразованияTкоординат при повороте на уголпо часовой стрелке имеет вид:.

Новые координаты точек В_нполучаются перемножением матрицВиT, т.е.. (11.12)

Для рассматриваемого примера получим: .

Интерпретация факторов, отвечающих матрице , несомненно проще: первый фактор существенно нагружает теперь только четыре исходных признака (история, литература, родной и иностранный языки), а второй первые два признака (математика, физика), причем значимых отрицательных нагрузок нет. Естественно первый фактор назвать, например, гуманитарной одаренностью, а второй – склонностью к точным наукам.

Рассмотренный пример явился иллюстрацией геометрического подхода к проблеме вращения. Он предполагает визуализацию факторного отображения с последуюшим поворотом системы координат так, чтобы новые оси проходили через скопления точек. Если число общих факторов больше двух, то вращение осуществляется по шагам, учитывая каждый раз одновременно только две оси. Полная матрица преобразования состоит из произведения отдельных матриц преобразования для всех комбинаций пар факторов.

Только что рассмотренный пример на вращение показывает, что интерпретация общих факторов тем проще, чем «контрастнее» будут значения нагрузок – элементы столбца матрицы факторного отображения: либо близки к нулю, либо к единице. В этом случае каждый исходный признак получает наиболее простое описание на языке общих факторов (11.10) и, наоборот, при интерпретации каждого общего фактора учитывается минимальное число исходных признаков. Именно эти соображения легли в основу концепции простойструктуры,широко используемой в факторном анализе. Термин «простая структура» служит для характеристики взаимосвязи между конфигурацией векторов, соответствующих исходным признакам, и осями координат пространства общих факторов. Если конфигурация векторов такова, что позволяет вращением координат достигнуть положения, при котором значительное большинство векторов-признаков окажутся на гиперплоскостях координат или вблизи них, то в этом случае говорят о простой структуре.

При многомерном факторном анализе в каждом столбце матрицы факторных нагрузок Bнайдутся несколько элементов, близких к нулю. Отсюда возникает вопрос: какое количество нулевых нагрузок достаточно, чтобы считать найденную гиперплоскость значимой? Решить этот вопрос можно с помощью критерия Баргмана. Для очередногоi-го общего фактора подсчитывают числопризнаков, для которых выполняется условие. Это число, называемое числом нулевых нагрузок, сравнивают с табличнымq_Т, соответствующим определенному числу исходных признаков. Еслипри выбранном уровне значимости, то этот фактор считается определенным и его можно интерпретировать. Критерий Баргмана проверяет по сути дела гипотезу, что векторы, отвечающие исходным признакам, лежат друг к другу плотнее, чем можно было бы ожидать при случайном их расположении в пространстве общих факторов.

Кроме геометрического подхода к вращению факторов применяется аналитический подход. Применение этого подхода потребовало выработки критерия, с помощью которого можно было бы сравнивать результаты вращения.

Такой критерий опирается на концепцию простой структуры. В качестве меры простоты фактора выбирается дисперсия квадратов его нагрузок. Если эта дисперсия максимальна, то отдельные нагрузки близки к нулю или единице. Взяв сумму дисперсии по всем факторам и приводя векторы-признаки к единичной длине, получаем так называемый варимакс-критерий:.

Процедура вращения осуществляется последовательно, учитывая каждый раз только две оси. Производится поворот на некоторый небольшой угол. Факторные нагрузки пересчитываются по формуле (11.12). Если при этом значение варимaкс-критерия возрастает, то эти оси вновь поворачиваются на тот же самый угол. Если же значение варимакс-критерия уменьшится, то переходят к другой паре координатных осей, и процедура повторяется.

ЭКЗАМЕНАЦИОННЫЙ БИЛЕТ № 23

1. Анализ главных компонент. Геометрическая интерпретация.

Анализ главных компонент. Геометрическая интерпретация.

Геометрическая интерпретация главных компонент.Дляn-мерного векторас ковариационной матрицейСможно построить так называемый эллипсоид рассеяния:,

где – вектор средних значений элементов.

Точки, соответствующие наблюдениям вектора а, будут располагаться примерно в очертаниях этого эллипсоида. На рис. 11 приведена двумерная иллюстрация эллипсоида рассеяния.

В методе главных компонент исходные наблюдения предполагаются центрированными. Переход к центрированным наблюдениям означает перенос начала координат в точку . Затем оси координат поворачивают на уголтак, чтобы осьшла вдольглавной оси эллипсоида рассеяния. Наблюдения в новых координатахистанут независимыми.

Рис.11. Двумерный эллипсоид рассеяния

Чем теснее наблюдения группируются около главной оси эллипсоида рассеяния, являющейся теперь новой координатой , тем менее значащим является для исследователя разброс точек в направлении оси, а следовательно, и сама эта координата (рис.12).

Рис.12. «Вытянутый» эллипсоид рассеяния

2. Алгоритм k-средних

Метод k-средних в кластерном анализе.

Задача кластерного анализа носит комбинаторный характер. Прямой способ решения такой задачи заключается в полном переборе всех возможных разбиений на кластеры и выбора разбиения, обеспечивающего экстремальное значение функционала. Такой способ решения называют кластеризацией полным перебором. Аналогом кластерной проблемы комбинаторной математики является задача разбиения множества из nобъектов наmподмножеств. Число таких разбиений обозначается черезS(n,m) и называется числом Стирлинга второго рода. Эти числа подчиняются рекуррентному соотношению:.

При больших n.

Из этих оценок видно, что кластеризация полным перебором возможна в тех случаях, когда число объектов и кластеров невелико.

К решению задачи кластерного анализа могут быть применены методы математического программирования, в частности динамического программирования. Хотя эти методы, как и полный перебор, приводят к оптимальному решению в классе всех разбиений, для задач практической размерности они не используются, поскольку требуют значительных вычислительных ресурсов. Ниже рассматриваются алгоритмы кластеризации, которые обеспечивают получение оптимального решения в классе, меньшем класса всех возможных разбиений. Получающееся локально-оптимальное решение не обязательно будет оптимальным в классе всех разбиений.

Наиболее широкое применение получили алгоритмы последовательной кластеризации. В этих алгоритмах производится последовательный выбор точек-наблюдений и для каждой из них решается вопрос, к какому из mкластеров ее отнести. Эти алгоритмы не требуют памяти для хранения матрицы расстояний для всех пар объектов.

Остановимся на наиболее известной и изученной последовательной кластер-процедуре – методе k-средних (k-means). Особенность этого алгоритма в том, что он носит двухэтапный характер: на первом этапе в пространствеЕ_nищутся точки – центры клacтеров, а затем уже наблюдения распределяются по тем кластерам, к центрам которых они тяготеют. Алгоритм работает в предположении, что числоmкластеров известно. Первый этап начинается с отбораmобъектов, которые принимаются в качестве нулевого приближения центров кластеризации. Это могут быть первые mиз списка объектов, случайно отобранные m объектов, либоmпопарно наиболее удаленных объектов.

Каждому центру приписывается единичный вес. На первом шаге алгоритма извлекается первая из оставшихся точек (пометим ее как) и выясняется, к какому из центров она оказалась ближе всего в смысле выбранной метрикиd. Этот центр заменяется новым, определяемым как взвешенная комбинация старого центра и новой точки. Вес центра увеличивается на единицу. Обозначим черезn-мерный вектор координатi-го центра на-м шаге , а через– вес этого центра. Пересчет координат центров и весов на-м шаге при извлечении очередной точки осуществляется следующим образом:

(9.5)

(9.6)

При достаточно большом числе классифицируемых объектов имеет место сходимость векторов координат центров кластеризации к некоторому пределу, то есть, начиная с некоторого шага, пересчет координат центров практически не приводит к их изменению.

Если в конкретной задаче устойчивость не имеет места, то производят многократное повторение алгоритма, выбирая в качестве начального приближения различные комбинации из mточек.

После того как центры кластеризации найдены, производится окончательное распределение объектов по кластерам: каждую точку ,i=1,2,…,Nотносят к тому кластеру, расстояние до центра которого минимально.

Описанный алгоритм допускает обобщение на случай решения задач, для которых число кластеров заранее неизвестно. Для этого задаются двумя константами, одна из которых называется мерой грубости, а втораяΨ₀– мерой точности.

Число центров кластеризации полагается произвольным (пусть ), а за нулевое приближение центров кластеризации выбирают произвольныеточек. Затем производится огрубление центров заменой двух ближайших центров одним, если расстояние между ними окажется меньше порога. Процедура огрубления заканчивается, когда расстояние между любыми центрами будет не меньше. Для оставшихся точек отыскивается ближайший центр кластеризации, и если расстояние между очередной точкой и ближайшим центром окажется больше, чемΨ₀, то эта точка объявляется центром нового кластера. В противном случае точка приписывается существующему кластеру, координаты центра которого пересчитываются по правилам, аналогичным (9.5), (9.6).

ЭКЗАМЕНАЦИОННЫЙ БИЛЕТ № 24

1. Экспериментальные критерии планирования эксперимента.

Экспериментальные критерии планирования эксперимента.

Все многообразие критериев планирования эксперимента можно разбить на две большие группы

Вторую группу составляют критерии, зародившиеся в практике планирования эксперимента и ориентированные на удобство расчетов и организации проведения экспериментов (критерии ортогональности и композиционности).

Смысл перечисленных критериев можно пояснить, используя понятие эллипсоида рассеяния случайного вектора. Для случайного вектора аразмерности, ковариационная матрица которого естьcov a, эллипсоид рассеяния задается выражением ,

описывающим эллипсоид в -мерном пространстве с центром в точкеМа. Эта геометрическая фигура имеет такие размеры, что ковариационная матрица случайного вектора, равномерно распределенного в пределах эллипсоида, совпадает с матрицейcov a. Следовательно, чем больше рассеяние вектора относительно его математического ожидания, тем большие размеры имеет эллипсоид рассеяния.

Критерий ортогональностиКритерий ортогональности требует выбора плана, обеспечивающего диагональность информационной матрицы. Использование этого критерия имеет целью упростить вычисления и обеспечить независимость оценок коэффициентов регрессии.

Критерий композиционности Критерий композиционности требует выбора плана, который включал бы в себя точки оптимального плана моделей более низкого порядка. Это обеспечивает сокращение числа опытов при поэтапном усложнении модели.

На практике желательно использовать планы, удовлетворяющие одновременно нескольким критериям. В общем случае такого сочетания свойств не наблюдается. В теории планирования эксперимента доказано, что непрерывный D-оптимальный план является такжеG-оптимальным. УсловиеD-оптимальности дискретного планаимеет следующий вид: . (6.2)

Если для дискретного D-оптимального плана имеет место, то этот план является такжеA-оптимальным.

Построение D-оптимальных планов является сложной вычислительной задачей. Аналитический путь здесь оказывается возможным в некоторых простейших случаях (полиномиальная модель от одной переменной, квадратичная регрессия отпеременных для стандартной области (гиперкуб)). В общем случае для построенияD-оптимальных планов используются численные методы, связанные с минимизацией определителя матрицыСлибо максимизацией определителя информационной матрицыF’F, что несомненно проще в вычислительном отношении.

2. Основные этапы факторного анализа.

Основные этапы факторного анализа

Вычислительный аспект факторного анализа связан с определением факторного отображения В, дисперсий характерных факторов и оценкой значений общих факторов. Оценка этих параметров производится на основании экспериментальных данных, полученных в ходе наблюдений надNобъектами (индивидами). Результаты наблюдений представляются в виде матрицы исходных данных, аналогичной (11.1). По матрицеХвычисляется корреляционная матрицаR. Затем начинаются этапы собственно факторного анализа. Первый этап – оценка общностей. Если общности оценены, то по формуле (11.5) можно оценить характерности, а следовательно, и матрицуW, которая является диагональной согласно предпосылкам факторного анализа. Заменяя диагональные элементы матрицыRна оценки общностей, получают матрицу, которая является информационной основой второго этапа выделения факторов. На этом этапе решают тем или иным способом матричное уравнение, получая в итоге ортогональную матрицуA. Возможно большое число матрицA, которые одинаково хорошо будут воспроизводить матрицу. Из них должна быть выбрана одна, что составляет содержание третьего этапа – вращения факторов. И, наконец, на последнем, четвертом, этапе оцениваются значения факторов для каждого объекта (индивида). На практике, однако, из-за большого объема вычислений часто ограничиваются первыми тремя этапами, причем первый и второй выполняются одновременно.

Выделение факторов. Выделение факторов предполагает установление числа и направления осей координат, соответствующих общим факторам, необходимым для отображения корреляции исходных переменных. С алгебраической точки зрения проблема факторов означает определение ранга матрицыАи оценивание ее элементов. Для решения задачи выделения факторов разработано достаточно много методов, однако основными в настоящее время следует признать два: метод главных факторов, наиболее широко употребляемый на практике, и метод максимального правдоподобия, имеющий прочный математико-статистический фундамент.

Метод главных факторов.Как следует из фундаментальной теоремы факторного анализа (11.3),. Приравняем вначалеWнулевой матрице. Получим матричное уравнение. (11.6)

Матричное уравнение (11.6) имеет множество решений: любое ортогональное преобразование Т, переводящее матрицуВвG, т.е.G = ВТ, удовлетворяет (11.6). Действительно, в силу ортогональностиТимеет местои, значит,. Подставляя выражение дляВв (11.6), получаем, посколькуT′T=I.

Как известно из линейной алгебры, ортогональное преобразование системы координат означает поворот системы как целого на некоторый угол вокруг начала координат. Выделяя некоторое предпочтительное направление и фиксируя тем самым угол поворота системы координат, можно обойти проблему неоднозначности решения системы (11.6).

Вернемся на время к методу главных компонент. Выбор осей координат здесь подчинен определенному требованию: каждая следующая ось ориентирована по направлению максимальной дисперсии в пространстве, ортогональном предыдущим главным компонентам. Матрица весовых коэффициентов Апри этом составлена из собственных векторов ковариационной (корреляционнойR) матрицы. Следовательно,

, (11.7)

где – диагональная матрицaс элементами, равными собственным значениям корреляционной матрицы. Умножая (11.7) насправа и учитывая ортогональностьA, а значит, получаем:.

Обозначим через матрицу порядка, элементы которой равняются квадратному корню из соответствующих элементов матрицы Λ. Перейдем отAк. Выражение дляRпримет вид:

. (11.8)

Сравнивая (11.6) и (11.8), получаем, что в качестве оценки матрицы Вможно взять матрицу.

Таким образом, матрица факторных нагрузок получается из матрицы, составленной из собственных векторов корреляционной матрицы исходных признаков, с последующим умножением элементов собственного вектора, отвечающего i-му собственному значениюна.

Матрицы BиQ имеют разный порядок:уВиуQ, поэтому правильнее говорить, что оценкой будут первыеmстолбцов матрицыQ.

Посчитав матрицу Wравной нулю, мы для оценки матрицыBвоспользовались моделью главных компонент. Строго говоря, под методом главных факторов понимают способ расчета, принятый в методе главных компонент, но примененный к матрице(оценка общностей рассматривается ниже).

0ценка числа общих факторов. Общепризнанного метода определения числаmобщих факторов, подлежащих выделению, не существует. Однако разработан ряд критериев, с помощью которых можно сделать достаточно обоснованное заключение.

Широкое применение получил сравнительно простой критерий собственных значений: выделять только те факторы, которые соответствуют собственным значениям, большим единицы.

Рассмотрим матрицу .Справедлива следующая цепочка равенств:.

Полученное соотношение показывает, что сумма квадратов нагрузок i-го общего фактора на исходные признаки равняетсяi-му собственному значению. Нохарактеризует вкладi-го общего фактора в полную дисперсию (напомним, что полная дисперсия равняется следу корреляционной матрицыRи). Поэтому факторы, вклады которых меньше единицы, имеют долю дисперсии, меньшую единичной дисперсии исходных признаков, и их нецелесообразно включать в число общих факторов.

Считается также, что вклад общих факторов в суммарную общность должен составлять около 90%, а число общих факторов не должно превышать половины числа исходных признаков, т.е. m<n/2, а более точно,.

К проблеме оценки числа факторов можно подойти со статистической точки зрения. Ранее отмечалось, что если коэффициенты корреляции после учета mфакторов незначимо отличаются от нуля, то нет необходимости вводить (m+1)-й фактор. Другими словами, равенстводолжно выполняться в статистическом смысле (здесь− матрица факторных нагрузок с числом факторов, равнымm). Для оценки значимости матрицыR(в самом начале факторного анализа) либо матрицыиспользуется критерий Бартлетта − Уилкса

с n(n-1)/2степенями свободы, либо его аппроксимация, где– элементы матрицы.

Если все эти критерии дают не противоречащие друг другу решения, то удовлетворяются этими mфакторами.

Метод максимального правдоподобия. В этом методе по выборочной корреляционной матрицеисходных признаков ищутся состоятельные и эффективные оценки неизвестных параметров − элементов матрицВиWдля генеральной совокупности. При построении функции максимального правдоподобия существенно используются предпосылки факторного анализа. Максимизация функции правдоподобия приводит к множественности результатов. Неоднозначность обходится требованием, чтобы матрица

(11.9)

имела диагональный вид. Это условие соответствует требованию метода главных факторов о взаимной ортогональности факторов и их ориентации по направлению максимума дисперсии.

Система (11.9) может быть приведена к виду, удобному для вычислений итерационным путем:

. (11.10)

Скорость сходимости итерационной процедуры является весьма медленной и зависит от начального приближения BиW.

В методе максимального правдоподобия проблема определения числа факторов также существует. Пусть расчеты по (11.10) проведены для mобщих факторов. Для проверки гипотезы о существованииmобщих факторов можно воспользоваться критерием

cстепенями свободы.

В этой формуле – определитель матрицы корреляций, воспроизведенных с помощьюmобщих факторов. Если вычисленное значение критерия превышает табличное значениепри выбранном уровне значимости, то необходимо выделить факторов больше, чемm, по крайней мере ,m+1.

Оценка общностей. Проблемы оценки общностей и оценки факторов тесно переплетаются. Если значения общностей установлены, то матрицастановится полностью известной и для нее может быть установлен ранг, т.е. минимально необходимое число общих факторов. Если вначале установлено числоmобщих факторов, то значения общностей подбирают таким образом, чтобы ранг матрицыприближался к этому числу. Существует несколько способов оценивания общности. Мы их рассмотрим вкратце, поскольку при большом числе переменных точность оценивания общностей практически не сказывается на результатах факторного анализа.

Наиболее теоретически обоснован и чаще всего рекомендуется в качестве оценки общности i-го признака коэффициент множественной корреляцииi-го исходного признака с остальными (n–1) признаками.

Значение вычисляется по формуле:, (11.11)

где – диагональный элемент обратной корреляционной матрицы.

При проведении факторного анализа на ЭВМ во многих случаях используют итерационную процедуру вычисления общностей. На каждой итерации с помощью метода главных факторов определяют матрицу факторных нагрузок, а по ней находят оценки общностей, которые используются в следующей итерации. В качестве начaльного приближения используют коэффициент множественной корреляции (11.11).

Вращение факторов. Исследование с помощью факторного анализа следует признать успешным, если выявлено не только число общих факторов, но и дано содержательное толкование тем внутренним, скрытым причинам (общим факторам), которые обусловили результаты наблюдений. С целью облегчения процесса интерпретации общих факторов осуществляется третий этап факторного анализа – вращение факторов. Выше указывалось, что матричное уравнениеимеет бесконечное число решений (с точностью до ортогонального преобразованияТ). Рассмотренные методы выделения факторов однозначно устанавливают положение системы координат, однако за счет введения дополнительных ограничений. Оси, соответствующие общим факторам, ориентируются последовательно по максимуму оставшейся дисперсии. Такая ориентация координат оказывается существенной в методе главных компонент, ориентированном на дисперсии. Основная цель факторного анализа – объяснение корреляций между исходными признаками. Окончательную ориентацию осей координат здесь производят из других соображений, а именно: с точки зрения содержательной интерпретации общих факторов. Для этого систему координат в пространстве общих факторов поворачивают как целое вокруг ее начальной точки, что эквивалентно умножению факторного отображенияВна ортогональную матрицуТсправа.

Процедуру вращения рассмотрим на примере. По результатам успеваемости построена корреляционная матрица оценок по шести предметам: математике, физике, истории, литературе, родному языку, иностранному языку. Одним из методов выделены два общих фактора. Корреляционная матрица и матрица факторных нагрузок приведены в табл.26.

Таблица 26

№ признака	Корреляционная матрица						Общий фактор1	Общий фактор2
1	1	0,50	0,32	0,20	0,22	0,12	0,6	0,6
2	0,50	1	0,21	0,15	0,16	0,07	0,4	0,4
3	032	0,21	1	0,44	0,67	0,41	0,7	0,2
4	0,20	0,15	0,44	1	0,56	0	0,6	-0,2
5	0,22	0,16	0,67	0,56	1	0,51	0,8	-0,4
6	0,12	0,07	0,41	0,33	0,51	1	0,5	-0,3

Интерпретация полученных общих факторов представляет определенные трудности: необходимо выявить то общее, что обусловило высокие нагрузки на все шесть предметов у первого фактора, и на первый, второй и пятый – у второго, причем последняя значимая нагрузка − отрицательна.

На рис. 14 приводится графическая иллюстрация полученного факторного отображения (номера точек 1-6 соответствуют строкам матрицы факторного отображения).

Рис.14. Поворот системы координат

Повернем оси координат по часовой стрелке так, чтобы сгусток, состоящий из точек 3-6, оказался как можно ближе к оси . Угол поворотасоставляет как видно из рисунка,. Матрица преобразованияTкоординат при повороте на уголпо часовой стрелке имеет вид:.

Новые координаты точек В_нполучаются перемножением матрицВиT, т.е.. (11.12)

Для рассматриваемого примера получим: .

Интерпретация факторов, отвечающих матрице , несомненно проще: первый фактор существенно нагружает теперь только четыре исходных признака (история, литература, родной и иностранный языки), а второй первые два признака (математика, физика), причем значимых отрицательных нагрузок нет. Естественно первый фактор назвать, например, гуманитарной одаренностью, а второй – склонностью к точным наукам.

Рассмотренный пример явился иллюстрацией геометрического подхода к проблеме вращения. Он предполагает визуализацию факторного отображения с последуюшим поворотом системы координат так, чтобы новые оси проходили через скопления точек. Если число общих факторов больше двух, то вращение осуществляется по шагам, учитывая каждый раз одновременно только две оси. Полная матрица преобразования состоит из произведения отдельных матриц преобразования для всех комбинаций пар факторов.

Только что рассмотренный пример на вращение показывает, что интерпретация общих факторов тем проще, чем «контрастнее» будут значения нагрузок – элементы столбца матрицы факторного отображения: либо близки к нулю, либо к единице. В этом случае каждый исходный признак получает наиболее простое описание на языке общих факторов (11.10) и, наоборот, при интерпретации каждого общего фактора учитывается минимальное число исходных признаков. Именно эти соображения легли в основу концепции простойструктуры,широко используемой в факторном анализе. Термин «простая структура» служит для характеристики взаимосвязи между конфигурацией векторов, соответствующих исходным признакам, и осями координат пространства общих факторов. Если конфигурация векторов такова, что позволяет вращением координат достигнуть положения, при котором значительное большинство векторов-признаков окажутся на гиперплоскостях координат или вблизи них, то в этом случае говорят о простой структуре.

При многомерном факторном анализе в каждом столбце матрицы факторных нагрузок Bнайдутся несколько элементов, близких к нулю. Отсюда возникает вопрос: какое количество нулевых нагрузок достаточно, чтобы считать найденную гиперплоскость значимой? Решить этот вопрос можно с помощью критерия Баргмана. Для очередногоi-го общего фактора подсчитывают числопризнаков, для которых выполняется условие. Это число, называемое числом нулевых нагрузок, сравнивают с табличнымq_Т, соответствующим определенному числу исходных признаков. Еслипри выбранном уровне значимости, то этот фактор считается определенным и его можно интерпретировать. Критерий Баргмана проверяет по сути дела гипотезу, что векторы, отвечающие исходным признакам, лежат друг к другу плотнее, чем можно было бы ожидать при случайном их расположении в пространстве общих факторов.

Кроме геометрического подхода к вращению факторов применяется аналитический подход. Применение этого подхода потребовало выработки критерия, с помощью которого можно было бы сравнивать результаты вращения.

Такой критерий опирается на концепцию простой структуры. В качестве меры простоты фактора выбирается дисперсия квадратов его нагрузок. Если эта дисперсия максимальна, то отдельные нагрузки близки к нулю или единице. Взяв сумму дисперсии по всем факторам и приводя векторы-признаки к единичной длине, получаем так называемый варимакс-критерий:.

Процедура вращения осуществляется последовательно, учитывая каждый раз только две оси. Производится поворот на некоторый небольшой угол. Факторные нагрузки пересчитываются по формуле (11.12). Если при этом значение варимaкс-критерия возрастает, то эти оси вновь поворачиваются на тот же самый угол. Если же значение варимакс-критерия уменьшится, то переходят к другой паре координатных осей, и процедура повторяется.

ЭКЗАМЕНАЦИОННЫЙ БИЛЕТ № 25

1. Проверка гипотез в однофакторном ДА.

Проверка гипотез в однофакторном ДА.

В ДА основной интерес представляет не столько сами оценки, сколько их сравнение и, в первую очередь, проверка гипотезы Н₀:а₁=а₂=…=а_р=0, означающей одинаковость, неразличимость, воздействий всехруровней. Со статистической точки зрения задачу ДА можно сформулировать так: для каждой изргенеральных совокупностей получено по выборке объемомN_iи необходимо сопоставитьрзначений выборочных средних.

ДА базируется на разложении общей суммы квадратов S₀отклонений наблюденийот общего среднегона составляющие, связанные с рассеянием между уровнямиS_муи рассеянием внутри отдельных уровнейS_ву:

,S_му=, S_ву=.

Подобное разложение получается следующим образом. Обе части тождества

возводят в квадрат и суммируют по iиj:

(5.4)

Последнее слагаемое в правой части формулы (5.4) обращается в нуль в силу выполнения следующей очевидной цепочки равенств:

.

Соотношение (5.4) приобретает вид S₀=S_му+S_ву. СуммыS₀ ,S_му ,S_ву имеютN-1,p-1,N-pстепеней свободы соответственно. Если имеет место проверяемая гипотезаН₀, то каждое из отношений:

может служить оценкой дисперсии ²случайных возмущений. В силу нормальности возмущений отношениеимеетF-распределение. Полученные значения представляют в виде табл.12.

Таблица 12

Источник изменчивости	Сумма квадратов	ЧСС	Среднее	F-отношение
Между уровнями	Sму	p-1		Fр=
Внутри уровней	Sву	N-p
	S0	N-1

Гипотеза Н₀:а₁=а₂=…=а_р=0 отвергается при выбранном уровне надежности (обычно, 95%), еслиF_р>F_Т, гдеF_Т– табличное значениеF-распределения при ЧСС числителя и знаменателяp-1 иN-p соответственно. ПриF_рF_Тделается вывод, что результаты наблюдений не противоречат гипотезеН₀.

2. Меры различия в кластерном анализе

Меры близости и различия в кластерном анализе.