Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

Лемма 8 Åñëè (i; j); i; j = 1; :::; K удовлетворяли (14.1 14.2), то Di;j будут удовлетворять (14.1 14.3).

Доказательство. Заметим сначала, что если вдруг оказалось, что c 0, то это означает, что для произвольного набора индексов s; i; j выполнено

s;j s;i i;j 0;

что совпадает с неравенством треугольника (14.3), а значит все наши выкладки будут излишни. Но, на самом деле, c всегда неотрицательно.

Действительно, возьмем такой набор индексов, в котором s = i. Тогда, в силу того, что (14.1) выполнено, то s;s = 0 è

что входит в противоречие с определением c. Лемма доказана.

Другой вариант построения матриц различий возникает тогда, когда каждый из объектов задается некоторым набором своих числовых характеристик, признаков, т.е. объекты заданы таблицей

KvK;1 ... vK;p

Признаки vi;j, сопутствующие i-му объекту могут иметь самое разное содержание, но именно по их значениям мы и должны судить о сходстве и различии объектов. При этом (по крайней мере, сейчас) мы пред-

полагаем, что все имеющиеся у нас p признаков одинаково важны для формирования различий и сходств объектов. Тогда можно определить

При таком определении все требуемые свойства будут выполнены. Иногда для придания большего "равноправия"признакам их центри-

руют и нормируют. Матрицу признаков будем называть стандартизованной по столбцам, если среднее значение элементов каждого столбца равно 0, а среднеквадратическое отклонение равно 1. Стандартизация по столбцам проводится обычным методом достаточно от элементов

j-го столбца отнять его среднее v

ское отклонение этого столбца :;j и разделить на среднеквадратиче-

S

и стандартизацию матрицы признаков:;j. В точностипострокамтак.Соответствующиеже можно провестиха-

рактеристики обозначим vi;: è Si;:.

14.2Модель Торгерсона

Итак, предположим, что построена матрица различий D, удовлетворяющая свойствам (14.1 14.3). В модели, предложенной классиком теории многомерного шкалирования У.С.Торгерсоном, принимается предполо-

жение о том, что возможно по этой матрице построить точки x ; :::; x в пространстве некоторого относительно небольшого числа измерений1 K

q

таким образом, чтобы

s = 1; :::; q среднее значение соответствующих координат строящихся точек равно 0:

K

X

xi;s = 0:

i=1

Для работы алгоритма Торгерсона, который позволит нам по матрице различий определить конкретные числовые значения координат, предварительно необходимо перейти от матрицы различий к новой вспомога- тельной матрице с двойным центрированием, т.е. организовать некое

Лемма 9 Матрица , элементы которой определены в (14.5), явля-

ется матрицей с двойным центрированием.

Доказательство этой леммы практически очевидно. Вычислим, например, среднее по ее i-й строке.

и понять, что рассуждение, проводимое по столбцам, дословно повторяет только что проведенное.

184 Глава 14. Многомерное шкалирование

Теорема 21 Если элементы матрицы D удовлетворяют (14.4) и эле- менты матрицы построены по формулам (14.5), то

Это и есть теорема Торгерсона, на которой основан его ставший класси- ческим алгоритм многомерного шкалирования.

Доказательство. Очевидно, что без потери общности и без нарушения (14.4) можно считать, что значения xi;j центрированы, т.е.

K

X

xi;j = 0; j = 1; :::; q:

i=1

Из (14.4) немедленно получаем, что

Вычислим теперь средние по j от обеих частей последнего равенства:

Заметим, что последнее слагаемое здесь равно 0 в силу условий центрированности, т.к. может быть переписано в виде

Таким образом, мы получаем

i, получим

Последняя тройная сумма в этой формуле, как и в двух предыдущих случаях, равна нулю в силу центрированности координат. Поэтому

q

D:;: = 2 X x2:;s: (14.10)

s=1

Подставим теперь (14.7), (14.8), (14.9) и (14.10) в (14.5). Получим после простого приведения подобных

что и заканчивает доказательство теоремы.

Таким образом, для того, чтобы решить задачу многомерного шкалирования, достаточно найти решение матричного уравнения (14.6), и

найденная матрица X, содержащая K строк и q столбцов в своих стро-

ках содержит наборы координат точек в q-мерном пространстве, которые нужно сопоставить изучаемым объектам.

14.2.1Стресс-критерий

Алгоритм Торгерсона, который будет описан ниже, ставит своей задачей поиск таких точек, изображающих наши объекты, для которых геометрическая структура данных наименее искажена в смысле максимизации следующего критерия оптимальности:

Глава 14. Многомерное шкалирование

Di;j расстояния между точками, изображающими наши объек-

q-мерном пространстве (строками матрицы X) , à D

расстояния между точками-объектами. Понимать все это легчеi;j истинныевсего на

примере ситуации, когда исходная информация задается таблицей (см. конец предыдущего раздела), а значит, наши объекты изначально ото-

бражаются точками в p-мерном пространстве, p > q. Если же входная

информация задана в другом виде, то "истинные"значения D ступны измерению, но, организуя некий итеративный процесс,i;jшагнедоза-

среднее арифметическое оцениваемых расстояний. Эту формулу, следуя [14], мы будем называть "стресс, формула 2".

14.3Алгоритм Торгерсона

В этом разделе приведен алгоритм многомерного шкалирования. На входе этого алгоритма матрица различий = ( i;j). Если вместо раз-

личий на начальном этапе мы имели коэффициенты корреляции ri;j =(X(i); X(j)), то можно положить

q

i;j = 1 ri;j; i; j = 1; :::; K:

Пусть также методом двойного центрирования, описанным выше, мы по матрице вычислили матрицу скалярных произведений и извлекли

èç íåå q главных компонент xi;j; j = 1; :::; q; i = 1; :::; K: Зададимся также

малым числом ", которое будет представлять собой требуемую точность вычислений.

t

i=1 j=i+1

Ê øàãó 3.

Шаг 3. (Достигнута ли нужная точность?) Если c > 0 и jS(c) Stj < " , то конец алгоритма. Иначе полагаем St = S(c) и переходим к шагу 4.

Шаг 4. (Упорядочивание). Положим l = 1. Фактически этот шаг выполняется лишь при c = 0. Алгоритм устроен так, что при остальных c наши данные окажутся упорядоченными автоматически. Поэтому если c > 0, то можно сразу перейти к шагу 5. Упорядочим пары (i; j) по возрастанию различий i;j

i;j(c) = pt(c) è d(i;jc) < d(p;tc);

возрастания, в третьем расстояния между ними. Последние располагаются по возрастанию, вообще говоря, только в случае равных различий. Работа алгоритма будет продолжаться до тех пор, пока и столбец расстояний не окажется упорядоченным по возрастанию. При этом некоторые из расстояний придется изменить. Номер "прохода"алгоритма по сфор-

мированной сейчас таблице и есть число l. Ê øàãó 5.

Øàã 5. Если соседние в таблице числа d(c)

объединяем соответствующие им пары индексовi;j имеютв блокравные.Есливеличины,равных

расстояний нет каждую пару объявляем самостоятельным блоком. К шагу 6.

Øàã 6. Подсчитаем число блоков. Пусть их m(l), è k-му блоку соответствует расстояние d(k) , k = 1; :::; m(l) (напомним, что в пределах

одного блока расстояния равны между собой). Положим k = 1. Ê øàãó 7.

Øàã 7. Сравниваем k-é è (k + 1)-й блоки. Если d(k) < d(k + 1), то к шагу 8. Иначе сливаем два этих блока в один, присваиваем ему номер

k + 1 и для него определяем

d(k + 1) = 12(d(k) + d(k + 1)):

Ê øàãó 8.

Øàã 8. Полагаем k = k + 1. Åñëè k < m(l), то к шагу 7 (продолжаем спуск по таблице), иначе к шагу 9.

Øàã 9. Если на шаге 7 происходило слияние каких-либо блоков, то

l = l + 1 и к шагу 6, иначе к шагу 10.

Øàã 10. (Новые координаты). Пересчитаем

при всех значениях i; j = 1; :::; K: Åñëè d(c) = 0, то соответствующее слагаемое в последнюю сумму не включаем,i;kили, что то же самое, полагаем

это слагаемое равным 0. Увеличиваем c: c = c + 1. Ê øàãó 2.

По окончании работы алгоритма числа x(i;jc), i; j = 1; :::; K и есть наилучшие оценки координат изображающих изучаемые объекты в q-

мерном пространстве с заданной точностью ". Шаг 10 называют метри- ческим этапом алгоритма. Формулы пересчета координат, приводимые там, выписаны из условия уменьшения величины стресса, формула 1, самым радикальным образом. Вывод этих формул мы не приводим, но отметим, что при изменении критерия оптимальности нужно в описанном алгоритме заменить только эти формулы. Шаги с 3 по 9 принято называть неметрическим этапом алгоритма Торгерсона, и существуют варианты этого этапа, отличные от описанного.

14.4Методы шкалирования индивидуальных различий

Предположим, что у нас имеются M экспертов, высказывающих свои

отношения о различиях между K различными объектами. Конечно же, можно свести мнения экспертов к одному усредненному мнению и решать задачу многомерного шкалирования для такой ситуации, как мы уже делали выше. Но иногда требуется также наглядно изобразить отли- чия во мнениях каждого из опрашиваемых экспертов вместе с некоторым "объективным"или средним мнением. В этом случае говорят о шкалировании индивидуальных различий (ШИР).

Предположим, что для каждого из(sэкспертов) имеется такая диагональная матрица W (s) с элементами wt ; t = 1; :::; K по диагонали, что

индивидуальная матрица координат отображаемых объектов, X(s), ñî- держащая K строк и q столбцов, вычисляется по формуле

Здесь матрица X матрица "объективных"координат K точек в q-мерном пространстве, отображающих среднее мнение всей группы экспертов в целом. Диагональный элемент wt(s) матрицы W (s) представляет собой тот

вес, который s-й эксперт приписывает t-й координате. Эти элементы называют весами важности. При увеличении wt(s) различие между i-ì è j-м объектами по t-й координате вносит все больший вклад в общую оцен-

ку различия этих объектов с точки зрения s-го эксперта. Тем самым, в рамках этой модели мы сводим различия во мнениях экспертов лишь к различным оценкам вкладов координат в общую близость объектов.

По заданным матрицам различий объектов для каждого из экспертов(s); s = 1; ::; M требуется восстановить матрицу "объективных"координат

X и матрицы весов важности W (s); s = 1; :::; M, по крайней мере, полу- чить их удовлетворительные оценки. Естественно, что при этом индивидуальные матрицы координат X(s); s = 1; :::; M находятся по формуле

(14.12), что позволяет изобразить положения всех объектов в q-мерном пространстве по мнению каждого из экспертов (например, точками разных цветов) и рассмотреть положения этих индивидуально шкалированных точек по отношению к "объективным"точкам, построенным по ма-

трице X.

Процесс нахождения называют подгонкой взве-

шенной евклидовой модели. Такое название эта модель получила потому,

что в роли расстояния между i-ì è j-м объектами с точки зрения s-го эксперта выступает

v u q

(s) = uX w(s)(x x )2; i; j = 1; :::; K; s = 1; :::; M; t

i;j k i;k j;k

k=1

т.е. к обычному евклидову расстоянию навешиваются веса важности на каждую из координат.

÷èéПриведем. схему алгоритма шкалирования индивидуальных разли-

На входе алгоритма у нас есть матрицы скалярных произведений(s), s = 1; :::; M для каждого эксперта, полученные из индивидуаль-

ных матриц различий методом двойного центрирования, " малое число,

определяющее точность вычислений, q размерность пространства изображений.

среднюю матрицу скалярных произведений. Пусть i;j(p) элементы этой матрицы. Выделим из нее при помощи одного из алгоритмов предыду-

щего раздела матрицу X(p) очередное приближение матрицы "объек-

тивных"координат изображений объектов. В этой матрице k строк и q столбцов. К шагу 2.

Øàã 2. Строим матрицу A(p), состоящую из M строк и K2 столб- цов. Каждый столбец ее соответствует паре объектов, каждая строка

эксперту. На s-й ее строке в столбце, соответствующей паре (i; j) стоит

элемент i;j(s) матрицы (s), i; j = 1; :::; K; s = 1; :::; M.

Строим еще одну матрицу B(p), в которой q строк и K2 столбцов. Каждый столбец соответствует некоторой паре объектов, каждая строка

некоторой координате. На строке t в столбце, соответствующей паре (i; j) расположено число xi;t(p)xj;t(p) (произведение соответствующих

элементов матрицы X(p)), i; j = 1; :::; K; s = 1; :::; M.

Вычислим вспомогательную матрицу, элементы которой будут представлять собой квадраты оценок весов важности:

W 2(p) = (B(p)Bt(p)) 1B(p)At(p):