книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

затрат времени предлагается новая операция, в которой элементы ком­ бинируются иным способом. В новой операции некоторые элементы могут повторяться по нескольку раз, а некоторые могут быть выбро­ шены. Если оказываются независимыми величины, обозначающие вре­ мя, затрачиваемое на различные элементы операции, то естественно счи­ тать, что и в новой операции они останутся независимыми. Тогда рас­ пределение затрат времени на новую операцию можно будет оценить, пользуясь средними значениями и дисперсиями, вычисленными для ос­ тальных элементов. Кроме того, нас интересует возможность выделения небольшого количества вспомогательных признаков (двух-трех), с по­ мощью которых мы могли бы производить некоторую содержательную классификацию исследуемых работников (в том или ином смысле).

В этой задаче отношение правдоподобия V равно | R і = 0,472. Так как объем выборки велик, то можно пользоваться теори ей асимптоти­ ческих разложений.

терия а = 0,01 (вероятность ошибочно отвергнуть проверяемую гипо­ тезу), находим (из таблиц) величину 1%-ной точки ^распределения с 15 степенями свободы: хо,оі (15) = 30,6. Поскольку у > Хо,оі (15), то гипотезу следует отвергнуть, т. е. приходим к выводу, что значения затрат времени на различные элементы операции нельзя считать не­ зависимыми;

— статистическая проверка некоторых предположений (гипотез)

полагать, что «нагрузки» всех признаков на первую главную компонен­ ту равны между собой (факт симметричной зависимости первой главной компоненты от исходных признаков), т. е.

обще не влияют на первую главную компоненту (т. е. Іцр—і) = 11р = = 0), в то время как остальные р — 2 признака влияют на нее симмет­

рично, т. е. /ц = /12 = ... = Іц р -2) = у ■*_2 и т. д.

Для решения подобных вопросов можно использовать статистиче­ ский критерий равенства г'-го собственного вектора неизвестной кова­

риационной матрицы некоторому заранее заданному вектору /г. В [15]

показано, что гипотеза lt = U должна быть отвергнута (с вероятностью ошибиться, т. е. с уровнем значимости критерия, приблизительно рав­ ной а), если окажется, что

154

где подразумевается, что характеристический корень оценка кото*

рого участвует в выражении для критической статистики, имеет крат­ ность, равную единице, а все остальные величины соответствуют ранее введенным обозначениям;

— проверка гипотезы о равнокоррелированности всех р исходных признаков, т. е. гипотезы rtj — г°, где rtJ — парный коэффициент кор­ реляции между признаком и признаком х^> [26]. Эта гипотеза оз­ начает, что последние р — 1 характеристических корней корреляцион­ ной матрицы равны между собой. Кроме того, постулируемый здесь специальный вид корреляционной матрицы допускает простые явные

= (л/1' + х<2>+ ... + х<Р>)/|/р и т. д. [26, с. 244].

Оказывается, гипотезу гі} = г° следует отвергнуть (с вероятностью ошибиться, приблизительно равной а), если

Задавшись уровнем значимости а = 0,05 и отыскав по таблицам ЗСо,о5 (2) = 5,99, приходим к выводу, что гипотеза о равнокоррелиро­ ванности всех трех исходных признаков может быть признана непро­ тиворечащей имеющимся у нас результатам наблюдения.

155

4. Главные компоненты в задачах классификации

а) Общие идеи использования главных компонент в задачах клас­ сификации. Дуализм в постановке задачи. Очевидно, возможность гео­ метрической интерпретации и возможность наглядного представле­

ния исследуемых наблюдений X- = (х\Х), ... , xjp>) (г= 1,2, , п) существенно облегчает решение задач по их классификации, и в частно­ сти проведение таких этапов, как предварительный анализ классифици-

y W

>18 •/3 •17

•іг •;5 •20*9 •18»19 >•ТО

Рис. 4.3. Расположение проекций 18-мерных наблюдений на плоскость пер­ вых двух главных компонент г/(1), г/(2)

руемых наблюдений, выбор метрики, выбор начальных приближений для неизвестного числа классов k , для системы эталонных множеств Е, наконец, для самого искомого разбиения S.

Так, например, одного взгляда на рис. 4.3, на котором изображены проекции тридцати одного (п = 31) восемнадцатимерного наблюдения (р = 18) на плоскость первых двух главных компонент (построенных по исходным 18признакам х(1), %<2>, ..., х(18>), достаточно, чтобы обнару­ жить четкое распадение исследуемой совокупности наблюдений на

3класса1.

1Данные заимствованы из работы [3]. В ней, в частности, исследовалась возможность разбиения испытываемых экземпляров растений (помидоров) в пространстве признаков, характеризующих различные процессы роста растений,

на однородные группы. Эти группы должны были выявить, в конечном счете, на-

156

А попробовал бы исследователь уловить это распадение непосредст­ венно в исходном восемнадцатимерном пространстве X!

Источником нашего оптимизма в отношении результатов исполь­ зования такого проектирования исследуемых многомерных наблюдений на плоскость являются, как легко сообразить, геометрические экс­ тремальные свойства главных компонент, в частности вышеупомянутые свойства 1 — 3, в соответствии с которыми проектирование исходной совокупности наблюдений в пространство меньшей размерности, «на­ тянутое» на р' первых главных компонент (р' < р), наименее искажает ее геометрическую конфигурацию.

Перед тем как перейти к некоторым конкретным примерам примене­ ния главных компонент в задачах классификации обратим внимание читателя на возможную двойственность_(дуаушзм). в интерпретации мно­

гомерного наблюдения Х'і = lx*p,x(iZ\ ..., х\р)) вообще, и в постанов­ ке задачи при эксплуатации метода главных компонент в частности-

Действительно, если в матрице наблюдений

рассматривать в качестве наблюдения столбцы X t, то классифици­ руемыми объектами (в количестве п штук) будут объекты, на каждом из которых было замерено по р признаков х^1\ так или иначе характеризующих его состояние. Если же в качестве «наблюде­

ния» рассматривать строки Х%' = (х ^ , х<£), хіѵ)) этой матрицы, то классифицируемыми объектами будут уже сами признаки (в коли­ честве р штук), рассматриваемые, соответственно, в н-мерном прост­ ранстве X*.

Очевидно, задачи классификации в одном (X) и в другом (X*) про­ странстве преследуют совершенно разные цели. Относительно целей классификации в пространстве X мы уже говорили. Что же касается классификации в пространстве X* (т. е. классификации самих призна­ ков) то наличие небольшого (сравнительно с р) числа однородных групп признаков позволяет сделать вывод о близости (коррелированное™, взаимном дублировании) признаков, входящих в одну группу, и, в ко­ нечном счете, существенно снизить размерность исходного факторного

личие трудноулавливаемых различий в исходных условиях выращивания (при постановке эксперимента эти условия предполагались, — и как выяснилось, не­ обоснованно! — одинаковыми для всех растений). Кстати, при исследовании было

общего состояния растения, в то время как вторая главная компонента (у'2*)

характеризовала процесс фотосинтеза.

157

пространства X, оставив, например, для дальнейшего рассмотрения лишь по одному представителю от каждой такой группы.

З а м е ч а н и е о необходимости нормировки в пространстве X*. Классифицируя признаки, необходимо помнить, что два признака Х% и Х*тестественно считать близкими не только в случае сравнитель­ ной малости расстояния р (Ху, Х*т) (евклидового типа) между ними, но и в случае их достаточно простой взаимной зависимости, например Хѵ = сХт, где с — некоторый скалярный множитель. Для того чтобы это оказалось учтенным при проектировании «наблюдений» X*, Х%, ...,

..., Хр в пространство меньшей размерности с помощью метода главных компонент, необходимо предварительно (до применения метода) со­ ответствующим образом пронормировать исходные данные в простран­ стве X*, например, переходя к «наблюдениям»

арифметическое ѵ-го признака

подсчитанное по п исходным наблюдениям.

И, наконец, в целях большего удобства технического представления результатов исследования (графиков, таблиц и т. п.) помимо необходи­ мой нормировки иногда еще дополнительно центрируют рассматривае­ мые наблюдения Х%, т. е. переходят, в конечном счете, к наблюдениям

В дальнейшем мы, как правило, будем предполагать вспомогатель­ ные операции нормировки и центрирования в пространстве X* выпол­ ненными, но в целях упрощения обозначений, будем опускать две верх­ ние волнистые черточки при записи соответствующих пронормирован­ ных и процентрированных наблюдений.

б) Применение главных компонент при анализе структуры семей­ ного потребления. В процессе исследований по проблеме «Типология потребителей и потребления» нами решалась следующая частная зада­ ча. Объект исследований — семья. Набор измеряемых на каждом «объ­ екте» признаков — удельные характеристики потребления (в расчете на одного члена семьи в единицу времени) по различным статьям рас­ ходов (табл. 4.1), — всего в количестве 31 штуки (р = 31)1. На первом этапе исследований была отобрана так называемая «контрольная» вы­ борка семей небольшого объема (п = 106).

1 Постановка задачи обсуждалась и принималась совместно с Н. М. Римашевской. Подбор й оформление исходных данных этого примера, их содержатель­ ный анализ был проведен Л. А. Левковой. В вычислительной части работы при­ нимал участие П. Ф. Андрукович.

158

Результаты проектирования тридцати одного 106-мерного наблюде­

признаки на пять условных классов так, как это сделано на рис. 4.4, то это даст пищу для достаточно естественного содержательного анали­

ально произведенной продукции к затратам труда на ее производство. Задача изучения зависимости показателей производительности труда

159

но-демографические условия их жизни, постоянно (и правомерно) привлекает к себе пристальное внимание исследователей.

Однако среди различных возможных подходов к решению этой за­ дачи мы бы выделили следующие две схемы исследования.

У*

/

У/ /

(Ѣ * \

Рис. 4.4. Расположение проекций 106-мерных наблюдений (из двойствен­ ного пространства X*) на плоскость первых двух главных компонент (у*, Уг )• Исследование взаимосвязей между признаками, характеризующими структуру и объем семейного потребления

С х е м а 1.

1) Разбиение исследуемой совокупности рабочих на однородные

произведенное отдельно внутри каждой однородной группы, выявлен­ ной на первом этапе (і ■— номер группы, внутри которой анализирует­ ся искомая зависимость).

160

СX е м а 2.

1)Разбиение исследуемой совокупности рабочих на однородные группы в пространстве признаков-аргументов X, например, с помощью

признаков (как правило, труднорегулируемых), описывающих техни­ ческий и организационный уровень производства (q < р), и подвектор Х<2>' = (х^+і), х ^+ 2\ ..., л4р>) признаков (регулируемых), опи­ сывающих социально-демографические условия труда. Затем разбиение

3) Статистическое исследование зависимостей типа

произведенное отдельно внутри каждой однородной группы подпро­ странства Х<’> (при аргументах Х<2>) и подпространства Х<2> (при аргументах Х<4). Здесь

лежат области Sj1). Аналогично определяется векторная функция /)2). Ниже приводятся результаты статистического анализа исходных данных по 100 работницам-ткачихам (п = 100) льнокомбината «Крас­ ная текстильщица» г. Нерехта Костромской области, составляющим более 80% всей численности ткачих комбината1. Эти результаты можно рассматривать как фрагменты осуществления этапов 1 и 2 в вышеопи­

санных схемах исследования.

Обозначение и содержание восемнадцати исследуемых признаков (р = 18) приведены в табл. 4.2.

Расщепление вектора признаков-аргументов X на два подвектора носит, очевидно, условный характер и зависит как от конкретных усло­ вий производства, так и от конкретных целей исследования. В нашем случае в подвектор X*1* были включены первые 9 компонент вектора X.

Учитывая разнородный физический смысл единиц измерения ис­ следуемых восемнадцати признаков, до применения метода главных компонент все эти признаки были пронормированы с помощью своих

1 Данные заимствованы из [4], а также из работы П. Ф. Андруковича, М. В. Друцкой, К. С. Кузнецовой, А. А. Назарова «Применение метода главных компонент для анализа производительности труда рабочих». — Сб.: Проблемы уровня жизни. М., ЦЭМИ АН СССР, 1972.

Т а б л и ц а 4.2

выборочных среднеквадратических отклонений s, т. е. был осуществлен! переход к новым (безразмерным) признакам

Проекция исследуемых ста (п = 100) восемнадцатимерных (р = 18)* наблюдений на плоскость первых двух главных компонент г/<‘>(X , Z)■ и г/(2) (X , Z), построенных по всем рассматриваемым признакам, пред­ ставлена на рис. 4.5.

Анализ нагрузок исходных признаков на первые две главные ком­ поненты так же, как и тщательное рассмотрение рис. 4.5, позволяет интерпретировать первую главную компоненту г/<1) как агрегирован-

162