Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

8.2.4Отбор показателей для дискриминантного анализа

В задаче дискриминантного анализа (классификация с обучением) требуется отнести изучаемые объекты к одной из групп, которые априори заданы некоторым количеством своих представителей. Такими группами могут быть, например фирмы с устойчивой репутацией против фирм с сомнительной репутацией, прогрессивные регионы против регионов депрессивных, или, например, врачебные диагнозы, т.е. количество классов не обязательно равно двум. В качестве образцовых представителей групп, на которые производится разбиение, берутся такие объекты, про которые заведомо известно, к какой из групп они относятся (диагноз уже установлен, например, путем вскрытия).

Задача сокращения размерности здесь возникает в следующем контексте. У нас имеется большое количество данных о каждом из объектов, поступающих на наше изучение и не все они имеют одинаковое значение для успешного решения задачи дискриминации. Например, цвет пижамы, которую предпочитает носить бухгалтер фирмы, вряд ли важен для признания этой фирмы финансово благонадежной. Поэтому некоторые из показателей стоит просто отбросить, при этом оставшиеся показатели окажутся существенно более информативными в рамках решаемых задач.

Образцом для построения критерия оптимальности здесь будут те типичные представители классов, на которые мы ориентируемся. Таким образом, здесь мы впервые сталкиваемся с внешним критерием оптимальности, поскольку эти представители не относятся к выборочным данным.

Как видим, класс допустимых преобразований F состоит из всевозможных выборов подсистем системы исходных показателей и не допускает их комбинаций:

=1 j=1

ãäå r число групп, Pi(Z) распределение подвектора, определяемо-

ãäå x(ik)(i) среднее соответствующего показателя, вычисленное по всем типичным представителям i-й группы, причем номера показателей, вхо-

дящих в последнюю формулу, определяются преобразованием Z (ñì. (8.1)).

8.2.5Отбор показателей в модели регрессии

Здесь могут быть сказаны практически те же самые слова, что в предыдущем подразделе, только речь идет об уменьшении количества случай-

ных величин, от которых изучается зависимость Y . Заметим, что кри-

терием здесь служит степень коррелированности с выходом Y , а значит критерий оптимальности вновь можно считать внешним.

классу, а второй ко второму. Эти два набора образуют обучающую вы-

борку объема n = n + n

алгоритм классификации,1 2 ,называемыйпо которой мыпрогностическимбудем строитьправиломв дальнейшем.Это

параметров ; организуем для1 2очередного(например,наблюденияметодом максимального правдоподобия) и

X следующую проверку: отно-

ñèì X к первому классу, если

где константа подбирается так, чтобы ошибка классификации имела не слишком большую вероятность. В основе этого алгоритма лежат те же стандартные соображения, по которым на отношении правдоподобия строятся наиболее эффективные критерии проверки гипотез.

На практике чаще всего пытаются найти прогностическое правило, которое имеет вид некоторого линейного неравенства. Как мы увидим в следующем разделе, в важнейшем частном случае, когда оба класса описываются нормальными распределениями, подстановочный алгоритм дает именно такое правило, а пока обратимся к геометрическим соображениям.

Известно, что в многомерном пространстве линейное уравнение задает гиперплоскость, а линейное неравенство одно из двух полупространств, на которые эта гиперплоскость разбивает все пространство. Таким образом, если элементы обучающей выборки имеют вид векторов

размерности p, и мы будем представлять их себе как точки в p-мерном пространстве, то поиск наилучшего линейного прогностического правила будет представлять собой поиск гиперплоскости, которая наилучшим образом осуществляет разделение двух множеств точек. Совершенно понятно, что гиперплоскость, которая оставляет всех типичных представителей первого класса с одной стороны, а второго класса с другой, существует отнюдь не всегда, поэтому прежде, чем заниматься поисками нашего правила, следует убедиться в том, существует ли такое правило с не слишком грубыми ошибками. В этом случае говорят о применимости линейной модели.

Проведем предварительный анализ данных. Это один из наиболее ответственных и наименее формализуемых моментов применения аппарата дискриминантного анализа. Помочь нам может то, что исследование методами дискриминантного анализа редко производится изолированно, поэтому исследователь имеет возможность использовать предыдущий опыт и методики сходных работ. Опишем здесь графический тест применимости модели Фишера классы определяются двумя многомерными нормальными распределениями с общей ковариационной матрицей.

Для лучшего понимания базовой идеи теста следует осознать, что как и при обычной проверке гипотез в математической статистике, один из классов находится в более привилегированном положении представители его встречаются чаще, соответствуют некоему стабильному состо-

янию, и вообще, мы больше склонны верить в то, что наблюдаемый X попадет именно в этот класс. К тому же, этот класс (пусть второй) почти наверняка описывается нормальным распределением. Элементы такого класса называют не-случаями. Название легко понять, если мы рассмотрим медицинскую интерпретацию нашей задачи к не-случаям относятся люди, признанные здоровыми. Сразу понятно, что второй класс ("случаи") отличается гораздо большим разнообразием проявлений, но его представители встречаются относительно реже.

Нетрудно понять, что (двумерная) плоскость, сумма квадратов расстоя- íèé Xi;nr(1) ; i = 1; :::; n1 до которой минимальна, натянута на два собствен-

ных вектора, соответствующих двум наибольшим собственным числам корреляционной матрицы V не-случаев (эта же матрица является ко-

вариационной для X(1)

минимум методом наименьшихnr ). Это можноквадратовдоказать. строго, решая задачу на

Спроектируем каждый вектор на эту плоскость и рассмотрим полу- ченный рисунок. Если модель Фишера применима, то разброс полученных проекций вокруг центра случаев должен соответствовать двумерному стандартному нормальному распределению.

Еще одним аргументом служит гистограмма распределения расстояний точек, соответствующих случаям, до построенной плоскости. Эта

гистограмма должна соответствовать хи-квадрат распределению с p степенями свободы. Для уверенного принятия модели Фишера в качестве основной необходимо принятие положительных решений в обеих описанных процедурах.

После принятия модели Фишера, как и всегда с нормальными распределениями, главную роль начинают играть вектор средних ~a и ковариа-

ционная матрица V , поэтому особенную важность приобретает вопрос их оценки по обучающей выборке. И если средние по первому и по второму классу, как и их оценки в принятой модели просто обязаны быть различ- ными и, таким образом, никаких отступлений от традиционных методов оценки средних нет необходимости рассматривать, то с ковариационной матрицей все гораздо сложнее.

Мы приняли предположение о том, что ковариационная матрица в обоих классах одна и та же, поэтому оценки ее обычными методами в первом и втором классе не должны сильно отличаться. Таким образом, не будут сильно отличаться и матрицы, полученные следующими методами:

1.в качестве оценки V выбирается оценка ее по одному из классов;

2.оцениваем ковариационную матрицу по первому классу, затем по второму и в качестве окончательной оценки выбираем их среднее арифметическое;

3.оцениваем V по всей обучающей выборке, игнорируя разбиение на классы.

Разные авторы используют разные методы. Мы возьмем на вооружение комбинацию двух последних, т.е., имея ввиду несмещенность, оценим V

n2 строк и p столбцов. В результате, конечно же, V будет квадратной

порядка p. Условимся далее до конца этой главы считать, что та оценка ковариационной матрицы, которой мы пользуемся, невырождена.

9.2Линейное прогностическое правило

Данный раздел посвящен выводу формулы для оптимального линейного правила в предположении, что оно существует. Сначала остановимся на модели Фишера. Напомним, что это означает, что оба класса описываются многомерными нормальными распределениями с одной и той же ковариационной матрицей.

Теорема 15 В модели Фишера подстановочный алгоритм приводит к линейному прогностическому правилу.

Доказательство теоремы почти очевидно. Обозначая V оценку об-

и, после логарифмирования и раскрытия скобок, правило подстановоч- ного алгоритма имеет вид

V 1X X 2V 1X m~1 V 1X X + 2V 1X m~2 < C;

èëè

V 1X (m~2 m~1) < C0;

что очевидно имеет линейный характер.

Теперь просто будем предполагать, что мы хотим выписать формулу именно линейного прогностического правила, т.е. априори считать, что оптимальное правило линейно.

Введем в рассмотрение вектор ~t

= ( 1; :::; q) неизвестных коэффициентов линейной прогностической функции, так что эта функция имеет вид

~

Y (X) = X + 0;

а само правило относит X к первому классу, если Y (X) > 0, иначе ко

второму. Пусть (1)

Y среднее значение функции по всем X из обучаю-