книги / Статистический анализ данных в геологии. Кн. 2

Матрица сходства между 25 случайными блоками; содержит расстояния Говера; часть матрицы, расположенная с помощью вычитания сумм строк и столбцов

Для вычисления расстояния Говера между i-м и /-м объектами необходимо вычислить абсолютное значение разности между ними для переменной с номером k и разделить на размах пере­ менной к. Это дает некоторое число из интервала 0,0—1,0, при­ чем близости объектов соответствует малое значение коэффи­ циента сходства, а близким к единице числам — максимальное расхождение объектов. Для того чтобы получить меру сходства, ведущую себя по аналогии с коэффициентом корреляции, эта величина вычитается из 1,0. Вычисление повторяется для всех т переменных к, измеренных на объектах i и /, затем результа­ ты суммируются и делятся на число переменных т, что б за­ ключение приводит к величине G,/.

322

При вычислении расстояния Говера не делается никаких до­ пущений относительно природы данных; наблюдения могут быть номинальными или порядковыми, или более высокого ранга. Действительно, матрица данных может состоять из смеси чисел различного типа, таких .как числа пластинок в чашечках кринондей, длин их щупалец и отношений высот чашечек к их диаметрам. Меры сходства для всех возможных пар объектов представляются з виде .матрицы ассоциаций [А] порядка пХп. Этс матрица будет симметричной и будет иметь единичные значения на диагонали и числа, принадлежащие интервалу от нуля до единицы, в остальных местах.

Данные каждой строки матрицы [Л] суммируются, получен­ ная сумма делится на п\ эта процедура дает среднее значение по строке. Данные каждого столбца матрицы [Л] также сумми­ руются и сумма делится на п, что дает среднее значение по столбцу. Обозначим эти средние соответственно через а/. и а.*. Нсходится также общее среднее как строк, так и столбцов и

обозначается а... В результате этого эле.менты aik преобразуют­ ся, получается новая матрица [QI элементы которой находятся по формуле

Рассмотрим п объектов, расположенных в /ц-мерном прост­ ранстве, определенном этими переменными. Преобразование (6.75) приводит к переносу начала координат m-мсрного прост­ ранства в центроид множества точек. Эта операция приводит к замыканию множества данных, так как все строки и столбцы имеют теперь суммы элементов, равные нулю, поэтому одно из собственных значений матрицы [Q] обязано быть нулем. Это приводит к возрастанию относительной величины первых не­ скольких собственных значений.

Далее, находятся собственные значения н собственные век­ торы матрицы [Q]; это и есть главные координаты множества данных. Относительная важность каждой координаты может быть оценена простым вычислением процентного вклада каж­ дого собственного значения в след матрицы [Q]. Обычно только

324

первые несколько координат представляют интерес, так как не­ редко они учитывают большую часть различии между наблюде­ ниями. В заключение индивидуальные нагрузки на глазные координаты наносятся на график; это делается попарным изоб­ ражением множества п собственных векторов, каждый из ко­ торых соответствует некоторому объекту.

Для иллюстрации анализа главных координат воспользуемся данными по искусственным блокам. Этот пример позволит нам сравнить результаты, полученные разными методами. В табл. G.34 представлены коэффициенты сходства между индивидуаль­ ными блоками (матрица порядка 25x25), вычисленные с по­ мощью расстояния Говера. В части, расположенной выше зна­

ного преобразования, состоящего в вычитании из каждого эле­ мента среднего по строке и столбцу и последующего добавления общего среднего, как это указано в уравнении (6.75). Для этой матрицы [Q] находятся собственные векторы н собственные значения.

325

Т а б л и ц а 6.35

Собственные значения, ассоциированные с первыми семью координатами, извлеченными из данных по блокам; графа i — последовательность собственных значений, графа 2 — процент от общей изменчивости, учитываемой для каждого собственного значения, графа 3 — кумулятивная изменчивость ( % )

326

В табл. 6.35 приведены первые семь собственных значений матрицы [Q], Заметим, что седьмое и последующие собственные значения равны нулю. Действительно, первые два собственных значения дают вклад з общую изменчивость данных по блокам, равный 81%, а третье собственное значение дает еще дополни­ тельный вклад, равный 17%, что составляет в сущности почти всю изменчивость. (Напомним, что данные были порождены только тремя независимыми переменными. Небольшая доля из­ менчивости, не учтенная первой, второй н третьей главными координатами, может быть объяснена ошибками округления в вычислениях.)

Первые две главных координаты, состоящие из элементов собственных векторов I и II, приведены в табл. 6.36. Каждый элемент соответствует индивидуальному наблюдению. Эти на­ грузки изображены на рис. 6.43. Сравните результаты, получен­ ные методом главных координат, с решением, полученным Q- методом факторного анализа (см. рис. 6.39). Заметим, что тот факт, что диагональные элементы матрицы [Q] могут быть не равными 1,00, означает, что представление общности в виде диаграммы невозможно осуществить па единичной окружности.

А Н А Л И З С О О Т В Е Т С Т В И Я

Факторный анализ предназначен для данных, представлен­ ных в интервальной форме или в шкале отношений, т. е. для измерений, сделанных в непрерывной численной шкале. Он не­ пригоден, например, для таких данных, как число ископаемых остатков различного типа в образцах. Такие номинальные или порядковые данные могут оказаться единственными доступными для исследования, и в некоторых случаях может оказаться по­ лезным обработать их, используя методы теории собственных значений, аналогичные факторному анализу.

Задачи, в которых имеются данные-перечисления, обычно свойственны общественным наукам, В качестве примера можно назвать результаты анкетирования, которые подразделяются на категории. В силу этого большинство исследований, основан­ ных на использовании методоз теории собственных значений для анализа такого рода данных, были созданы социологами и статистиками, работающими над решением социологических проблем. Эти данные обычно представляются в виде условных таблиц; первая известная работа, в которой были применены такие таблицы, принадлежитХиршфельду [27J, см. также [17]. Совсем недавно Бензекри и другие исследователи [4] подробно изложили этот метод, и термин «анализ соответствия», введен­ ный Бензекри, получил широкое распространение. Его работа стала основой для многих приложений в геологии [60, 61, 12].

327

Г'нс. 6.43. П р ед ст а в л ен и е д в у х главны х к оор ди н ат д л я д а н н ы х п о сл учайн ы м

блокам.

Ьдокл изображены в положениях, соответствующих нч нагрузкам на главные координаты

В этих геологических приложениях, однако, методы Беизекри к его предшественников претерпели большие изменения. Хилл [26] излагает историю анализа соответствия п связи между ра­ ботами различных авторов. Детальное изложение анализа со­ ответствия и его обобщений содержится в монографии [41].

Анализ соответствия начинается с обработки матрицы, полу­ ченной из условной таблицы, которая преобразуется таким об­ разом, чтобы ее элементы можно было рассматривать как ус­ ловные вероятности. В силу природы этого преобразования (в действительности некоторая форма шкалирования) соотно­ шения между строками и столбцами преобразованной таблицы такие же, как и в исходной матрице данных. Это означает, что

3 2 8

теорема Зккарта — Юнга верна, и решения, полученные Р- и Q-методами, эквивалентны.

Матрица необработанных данных [X] имеет п строк, пред­ ставляющих наблюдения, и т столбцов переменных. Сами эле­ менты рассматриваются как бирки. В задачах по палеонтоло­ гии, например, столбцы могут соответствовать видам останков микроорганизмов, строки могут представлять образцы, отобран­ ные из различных стратиграфических интервалов в скважине, а элементы в таблице будут представлять собой результаты подсчета чисел образцов каждого вида останков микроорганиз­ мов по выборкам. Общее число индивидуумов есть просто сум-

дого вида, которые были обнаружены во всех выборках. Бирки можно обратить в проценты к общей сумме, а последние уже можно считать вероятностями

Pf) = —тЧ- - - •- -

хц i=i /= 1

Эти значения Рц можно трактовать как совместные вероят­ ности того, что конкретные виды остатков могут быть найдены, в заданной выборке. Суммы строк, деленные на общую сумму.. дают маргинальные вероятности

т

которые являются вероятностями того, что конкретные выборки будут содержать микроостанки, не взирая на их вид. Суммы столбцов, трактуемые аналогично, дают маргинальные вероят­ ности

п[ п т .

329

которые являются вероятностями того, что конкретные виды мик­ роорганизмов имеются независимо от того, из какой выборки они были извлечены. Если объединенные вероятности разделить на соответствующие маргинальные вероятности, то в результа­ те получим условные вероятности

дает вероятность того, что найденные микроорганизмы будут принадлежать к виду /', если известно, что этот образец был извлечен из t-й выборки.

В гл. 2 (см. кн. 1) было показано, что таблица наблюдений может быть представлена через пропорции к общему числу на­ блюдений. Тогда, если строки и столбцы таблицы независимы, наблюдения должны быть приблизительно равными произведе­ ниям маргинальных вероятностей соответствующих им строк и столбцов. Если две переменные / и k тесно связаны, то все ожи­ даемые значения в /'-м и k-м столбцах должны быть очень по­ хожими. Это наводит па мысль, что степень сходства можно выразить с помощью вычисления попарного произведения, ко­ торое содержит наблюдаемые и ожидаемые вероятности для всех строк в двух сравниваемых столбцах. Такая мера исполь­ зуется в анализе соответствия и имеет вид коэффициента кор­ реляции между двумя переменными [34]:

где Pa — «наблюдаемая» вероятность в i-й строке и /-м столбце случайной таблицы; Pi.P.j — «ожидаемая» вероятность, вычис­

ленная как произведение маргинальных вероятностей. Выражая гиг через величины, введенные в гл. 2, получаем

Связь между этим выражением и статистикой %2 в применении к случайной таблице становится более ясной, если возвести в квадрат один из членов:

Мы видим, что мера сходства, используемая в анализе соответ-

330

ствия, может рассматриваться как произведение двух значений %2. Это приводит к выражению «расстояние %2», которое иногда применяется к этой мере [41]. Если меры сходства г,-* вычислить для всех пар столбцов i и k, они образуют квадратную матрицу порядка тХт. Из этой матрицы затем получаются собственные значения и собственные векторы. Эго и есть главные оси анализа соответствия. Заметим, что так как все элементы случайной таблицы выражены как пропорции от общей суммы всех эле­ ментов, то сумма элементов столбца (и элементов строки) равна 1,00. Поэтому мы имеем дело с замкнутой таблицей данных, и од­ но собственное значение должно быть нулевым. Эго означает, что размерность нашей задачи уменьшается от т до т—1, п, воз­ можно, еще меньше. Вместо того чтобы прямо использовать уравнение (6.80), можно использовать другую формулу для вы­ числения коэффициента сходства, например следующую:

Она дает то же множество собственных векторов.

Последнее собственное значение, как это вытекает из урав­ нения (6.80), тривиально и в точности равно нулю. Так как данные до выделения факторов не центрировались относитель­ но нуля, то при использовании уравнения (6.82) факторное ре­ шение будет содержать исходное тривиальное собственное зна­ чение, которое тождественно разно 1,0. Вычисления, связанные с формулой (6.82), легче описать в матричной форме. Сначала обозначим исходную .матрицу данных порядка nXtn через [X]. Элементы [X] преобразуются в объединенные вероятности с по­ мощью деления каждого элемента матрицы на общую сумму, которая равна скаляру ЕЕлу/. В результате получаем матри­ цу [В]:

Затем определим квадратную матрицу [М] порядка т х т , ко­ торая содержит суммы столбцов [5], расположенных в порядке убывания по диагонали, и с нулями во всех внедиагональных позициях. Определим также другую квадратную матрицу [N], которая имеет порядок пХ п и содержит суммы строк [В] по диагонали и нули в прочих местах. Эти две матрицы содержат

(Так как мы имеем дело с диагональными матрицами, то опе-

331