книги / Статистический анализ данных в геологии. Кн. 2

кому значению корреляции по сравнению с истинным. Числен­ ную меру сходства между двумя матрицами можно найти, в результате простого вычисления коэффициентов корреляции между одинаково расположенными элементами. Так как обе матрицы симметричны относительно диагонали, то для этой цели достаточно использовать только одну половину элементов

пользуется в качестве меры сходства; 2) объединение в группы начинается с объектов, имеющих наиболее высокие значения коэффициентов корреляции, характеризующих сходство; 3) два объекта можно объединить только в том случае, если они име­ ют наивысшее значение коэффициента корреляции друг с дру­ гом; 4) после того как два объекта объединены в группу, их коэффициенты корреляции со всеми другими объектами усред­ няются.

Введение иных мер сходства приводит к очевидным моди­ фикациям этой схемы. Хотя меры могут быть разными, широко используются только две из них: коэффициент корреляции и расстояние. Если провести стандартизацию исходных данных до вычисления коэффициента сходства, то коэффициент корре­ ляции и расстояние можно непосредственно преобразовать друг в друга, Вообще дендрограммы, построенные на основании этих двух мер, подобны. Однако в отличие от коэффициента корре­ ляции расстояние не обязательно принимает значение в преде­ лах ±1, и поэтому оно может привести к более наглядным дендрограммам в тех случаях, когда несколько объектов силь­ но отличаются от других. В табл. 6.15 приведены как расстоя­ ния, так и коэффициенты корреляции для семи объектов, в дан­

252

Рис. 6.9. Графики переменных, изме­ ренных на трех объектах.

П е р е м е н н а я

Дендрограммы, построенные для каждой матрицы сходства, изображены на рис. 6.8. Хотя общие черты группирования оче­

позицию в иерархической структуре. Полезно исследовать при­

Если нанести каждое измерение на график так, как это указа­ но на рис. 6.9, можно убедиться в том, что соотношения между переменными в двух объектах сходны. Им соответствуют более или менее параллельные графики А и В на диаграмме.

У третьего графика другой вид, но он значительно ближе к гра­ фическому представлению множества измерений, соответствую­ щего одному из двух других объектов. В этом примере А и В

сильно коррелированы, т. е. имеют высокие линейные связи, но зато расстояние между В и С минимально. Если бы в качестве

переменных были выбраны размеры ископаемых организмов, н.'нример раковин брахиопод, то это привело бы к выводу, что А н В имеют близкую форму, а В и С — сходные размеры.

Если бы в качестве переменных были выбраны содержания тяжелых элементов в пробах руды, то можно сделать вывод, что образцы Л п В аналогичны по составу, но А обладает по­

ниженными содержаниями по сравнению с В. Содержания эле­ ментов в В и С близки, но их отношения различны.

Необходимо пояснить, что коэффициент корреляции указы­ вает на наибольшее сходство в тех случаях, когда он имеет высокое положительное значение, в то время как расстояние указывает на наибольшее сходство в тех случаях, когда оно

253

наименьшее. Поэтому коэффициент корреляции выявляет нали­

друга. Возможны также и другие критерии. Так, известен про­ стой метод образования групп, называемый простым объедине­ нием и основанный на использовании наивысшего коэффициен­ та сходства между некоторым фиксированным объектом и лю­ бым объектом группы. Результаты анализа групп этим мето­ дом по корреляционной матрице, приведенной в табл. 6.15, изо­ бражены на рис. 6.10. Так как объекты вводятся в группу на

связи в этом случае оказывается более высокой, чем в методах группового объединения. При этом, кроме сжатия дендрограм­ мы, возникают и другие отличия. Например, группа СЕ прямо соединена с группой BFD в силу наличия высокой корреляции между L и D. Если корреляцию с С и £ усреднить, то нанвысшей будет корреляция .между СЕ и А.

Простое объединение прямо приводит нас к окончательной характеристике, среднему арифметическому мер сходства объ­ ектов, которые уже определены по группам. При использовании этого метода образования групп никакого усреднения совсем не делается. Методы, проиллюстрированные на рис. 6.8,а и б и в предыдущем примере (см. рис 6.6), называются взвешивав'ем, хотя ка самом деле их следовало бы назвать методами равного

двух объектов. Новый объект А имеет двойное влияние на ко­ эффициент корреляции группы АСЕ, так же, как Е или С. Объекты, присоединенные к группе позже, больше влияют на матрицу сходства, чем объекты, присоединенные ранее. Методы усреднения без учета весов стремятся избежать этого, приписы­ вая в процессе усреднения каждой группе веса, пропорциональ­ ные числу объектов в ней. Например, образовав группу СЕ, можно присоединить к ней объект А с целью образования новой группы АСЕ. Однако меры сходства этой новой группы нахо­ дятся в результате суммирования коэффициентов корреляции А со всеми элементами, исключая С и Е, коэффициентов корре­ ляции С со всеми элементами, исключая А и Е, а также коэф-

254

-1,00

0,50

0,00

-0,50

- 1,00

ляции равен 0,72

Рис. 6.12. Диаграмма, которая показывает, как объекты, характеризуемые дву­ мя переменными X и У, входят в группу.

фипиентов корреляции Е со всеми элементами, исключая А и С. Таким образом, нужно сложить коэффициенты корреляции всех исходных элементов в группе, а затем каждую сумму разделить на 3. Эта процедура позволяет каждому объекту группы одина­ ково влиять на характеристики сходства всей группы. Такой метод по сравнению с обычными методами взвешивания имеет противоположное свойство: объекты, введенные в группу позже, почти не оказывают влияния на меры сходства внутри нее. На рис. 6.11 по данным табл. 6.15 приведена дендрограмма, построенная на основе метода невзвешенного усреднения.

Мы можем проиллюстрировать эффект четырех различных стратегий установления связен, рассматривая очень простую

2 5 5

задачу кластеризации, в которой на каждом объекте измерены только две переменные. Тогда все соотношения между объекта­ ми могут быть изображены на плоскости, как это представлено на рис. 6.12. Расстояния между объектами на диаграмме по­ просту пропорциональны мере расхождения между ними. Четы­ ре объекта, от А до D, образуют связанный пучок. Пунктирные

линии указывают порядок, в котором эти четыре объекта были соединены вместе. Несколько менее сходный объект Е также

был присоединен к этому пучку. Шестой объект, обозначен­ ный F, теперь рассматривается в качестве кандидата на воз­

При невзвешенном усреднении или центроидной связи объект F будет присоединен к пучку, если расстояние M\F меньше рас­

стояния до центроида в любой другой группе. Во взвешенной парагрупповой или усредненной процедуре связывания объект будет присоединен, если расстояние М 2Р меньше, чем расстоя­

ние до среднего в любом другом пучке. (Заметим, что точка находится посередине между средним пучка ABCD и объектом Е, который участвовал в первом цикле.) Наконец, при потом связывании объект F присоединяется к пучку, если расстояние EF меньше, чем расстояние до большинства точек в лг

другом пучке.

Столкнувшись с таким множеством методов, каждый in ко­ торых дает несколько отличающийся от других результат, ис­ следователь вправе спросить о том, какой из них лучше. Г со­ жалению, па этот важный вопрос нет четкого ответа. Опыт по­ казывает, что методы взвешенного группового объединения обычно дают результаты лучше, чем любой из методов просто­ го объединения или невзвешенного усреднения. Относительное превосходство первых определяется тенденцией к получению наибольшего значения кофенетического коэффициента корреля­ ции, который трактуется как индикатор малых изменений в дендрограмме. Значения кофенетических коэффициентов кор­ реляции. меньшие 0,8, могут указывать на столь сильные изме­ нения в дендрограмме для слабых связей, что она оказывается ошибочной. В анализе групп матрицы расстояний обычно используются с большим успехом, чем матрицы коэффициентов корреляции, так как дают более высокую кофенетическую кор­ реляцию. По-видимому, матрицы расстояний также менее чув­ ствительны к замене метода при анализе групп. Однако недо­ статок состоит в том, что они ограничивают использование ка­ ких-либо статистических методов. (Для других методов ана-

256

лиза групп имеются некоторые теоретические обоснования; см., например, [59].) Большинство исследователей, использующих

которые дают наиболее удовлетворительные результаты для их данных. Тщательный предварительный анализ может опреде­ лить выбор процедуры кластеризации. Большинство иерархи­ ческих методов, если число объектов велико, нуждается в вы­ числении и обработке очень больших матриц. (В экологии и ар­ хеологии исследование тысяч объектов является обычным де­ лом.) Процедуры кластеризации, использующие ограниченное число произвольных центров групп, обычно сопровождаются приемами устранения этой вычислительной помехи. Вероятно, что наиболее широко применяемый метод-—это процедура /г-средних МакКвина [50]. Здесь k точек, характеризуемых т переменными, объявляются (либо пользователем, либо програм­ мой) исходными «центроидами» групп. Вычисляется матрица сходства между этими k «центроидами» и п наблюдениями, и затем ближайшие или наиболее сходные наблюдения объеди­ няются в группы с этими «центроидами». Затем вычисляются новые центроиды, и процесс многократно повторяется в точ­ ности как иерархическая процедура. В принципе этот центроид по мере роста группы быстро сдвигается в направлении истин­ ного центроида, так как влияние истинных наблюдений оказы­ вает все более существенное влияние на произвольный выбор исходной точки. Преимущество процедуры fe-средних состоит в том, что для нее необходима лишь матрица сходства поряд­

в том. что при неудачном выборе произвольных начальных то­ чек может получиться неоптимальная кластеризация, что при­ ведет к преждевременному сдвигу центроидов п к ошибке в обнаружении аномальных кластеров.

Многие методы кластеризации содержат субъективные про­ цедуры, однако кофенетическая корреляция служит компасом в достижении объективной классификация. Польза кластерного анализа состоит в том, что он обеспечивает относительно про­ стой и прямой путь классификации объектов и позволяет пред­ ставить результаты в удобном для понимания виде.

В качестве упражнения в кластерном анализе исследуем набор данных, представляющих измерения кембрийских трило­ битов, собранных на западе США. В соответствии с требова­ ниями таксономических процедур образцы были разделены на три рода. На десяти трилобитах, каждый из которых представ­ лял определенный вид, были измерены 10 характеристик или

ли яJD.

переменных. Результаты этих измерений приведены в табл. 6.16. Вообще говоря, было установлено, что разные виды трилобитов плохо связаны между собой. Чтобы избежать недоразумений, проистекающих от того, что хвостовая часть больших индиви­ дуумов может случайно ассоциироваться с передней частью малых, все измерения были преобразованы в отношения. Изме­ рения, сделанные на осевой части головного щита, были разде­ лены на его длину. Аналогично измерения, сделанные на хво­ стовой части щита, были разделены на его ширину. Части ске­ лета, выбранные в качестве переменных, указаны на рис. 6.13. После подходящей стандартизации выполните анализ групп по

з

Рис. 6.13. Трилобит Opisthoparian.

Показана схема строения и измеряемые характе­ ристики, приведенные в табл, 6.16. 1 — пальпеб­ ральная лопасть (глазная крышка); 2 — край; 3 — краевой валик; 4 — свободная щека; 5 — глабель; 6 —неподвижная щека; 7— главный шип; 8 — ось

пигидия; 9 —плевральная часть

2 5 8

данным измерений трилобитов и посмотрите, дают ли количе­ ственные методы ту же классификацию, которая получается методами обычной таксономии. Вычислите и используйте в ка­ честве мер сходства коэффициенты корреляции и расстояния. Какая из этих мер дает лучший результат по сравнению с ре­ зультатами, полученными методами обычной таксономии?

ВВЕД ЕН И Е В ТЕОРИЮ СОБСТВЕННЫХ ВЕКТОРОВ, ВКЛЮ ЧАЯ ФАКТОРНЫЙ АНАЛИЗ

Некоторое множество вычислительных процедур часто не­ брежно называют «факторным анализом»; они обладают общи­ ми чертами, а именно, заранее предполагается, что в наборе многомерных наблюдений имеется скрытая простая структура. Эта структура выражается через дисперсии и ковариации пере­ менных, а также с помощью мер сходства между наблюдения­ ми, Все методы факторного анализа основаны на выделении собственных значений и собственных векторов из квадратной матрицы, получаемой умножением матрицы данных (или неко­ торым образом преобразованной матрицы данных) на ее транс­ позицию. Основные математические операции в точности те же, какие были указаны в гл. 3. На эти основные положения и ме­ тодологию накладывается множество усовершенствований и из­ менений, часто произвольных, что в результате ведет к много­ образию вычислительных методов, приводящему в уныние. За­ частую основные сходные черты этих методов сильно завуали­ рованы сложными математическими обозначениями и термино­ логией, используемой различными практиками.

смысл лишь в пределах этой специфической области. Действи­ тельно, само название «фактор» относится к гипотетическим умственным способностям, которые можно еще характеризовать как «фактор интеллекта». Социологи и специалисты по биомет­ рии также внесли свой вклад в богатство терминологии фактор­ ного анализа и помогли создать противоречивую и мало понят­ ную методологию, которая увеличивает обманчивое впечатление о возможности получения мгновенного ответа у исследователя, поставленного перед числом данных, большим, чем то, которое можно осмыслить.

Создано множество методологических вариантов факторного анализа. Проанализируем некоторые наиболее распространен­ ные из них, без глубокого изучения философских и математи­ ческих аспектов, которые им сопутствуют. Мы используем неко­ торые математические соотношения, существующие между матрицей данных, соответствующей ей матрицей парных произ­

ведений, а также их собственных значений и собственных век­

торов.

Методы факторного анализа делятся на два больших клас­ са, называемых R- и Q-факторным анализом. Первый связан с исследованием соотношений между переменными и основан на выделении собственных значений и собственных векторов из ковариационной или корреляционной матриц; второй — с иссле­ дованием соотношений между объектами и часто используется для исследования их внутренней структуры для представления в многомерном пространстве. Большинство Q-методов фактор­

ческие процедуры в том смысле, что данные рассматриваются

свойственные исходным переменным. Так как методы Я-анали- за связаны с исследованием исходного множества данных сход­ ства между индивидуумами, то их нельзя свести к статистиче­

симметричную матрицу, которая выражает либо степени взаи­ мосвязей между переменными, либо то же между объектами, на которых значения этих переменных определены. Это делается путем умножения слева или справа матрицы данных на транс­ понированную к ней. В простейшем случае, когда матрица не­ обработанных данных [X] состоит из п строк наблюдений н т столбцов переменных, умножение слева на транспонированную

ратов и попарных произведений т переменных, представленных в исходной матрице, т. е.

среднее и стандартное отклонение, равное единице, то матрица [if?] будет корреляционной матрицей т переменных.

Если теперь матрицу данных [X] умножить справа на транспонированную к ней матрицу [X]', то получим квадрат­ ную симметричную матрицу Q, которая имеет п строк и п

столбцов: [Q] = [х] [X]'.

Если m содержит необработанные наблюдения, то [Q] со­ держит квадраты и попарные произведения всех пар объектов,

260

просуммированные по переменным. Действительно элементы матрицы [Q] таковы:

т

где i п I — номера двух строк матрицы данных. В большинстве исследований используется больше объектов, чем переменных, так что матрица [Q] будет много большего порядка, чем мат­ рица [Я]. даже несмотря на то что они построены по одной исходной матрице данных [А'].

Применение факторного анализа в геологии, как правило, основано на нахождении собственных значений и собственных векторов либо для матрицы [/?], либо для матрицы [Q]. Одна­ ко очевидно, что имеется тесная связь между ними, так как обе матрицы порождены одним и тем же набором данных. Эта связь была установлена на заре развития факторного анализа, но ее использование подвергается пересмотру до сих пор. От­ пасти это происходит потому, что психологи и социологи, кото­ рые были ответственны за большинство первых работ в области факторного анализа, пользовались исключительно ^-методом. С некоторого времени биологи и геологи начали интересоваться геми методами факторного анализа, в которых широко исполь­ зуется техника Q-анализа. Большинство из них были простыми

даптациями методов /?-аналнза, в которых матрица [Q] про­ то подставлялась вместо матрицы [/?]. Так как [Q] зачастую бывает очень большой матрицей, то до 1950 г., пока не появитись мощные ЭВМ, эти способы применения Q-метода оказы­ вались безрезультатными. К сожалению, основное соотношение между R- и Q-методами было упущено, и Q-метод факторного нализа часто оказывался чрезмерно сложным (см. например, [29], [52]). В последнее время ряд авторов [33, 12; 65] ис-

.пльзуют двойственность между /?- и Q-методами, в результате пего достигается большое упрощение вычислений в Q-методе факторного анализа.

Теорема Эккарта — Юнга

Основное соотношение между матрицей данных и собствен­ ными значениями и собственными векторами двух матриц по­ парных произведений выражается теоремой Эккарта — Юнга. Впервые она была доказана этими двумя авторами в их клас­ сической работе, появившейся в первом томе журнала «Психо­ метрика» (1936 г.). Теорема Эккарта — Юнга является крае­ угольным камнем ряда многомерных методов, включая фактор­ ный анализ. Она утверждает, что для всякой вещественной

261