Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

9.6Проверка качества дискриминации

Распространенной ошибкой неискушенного исследователя, строящего прогностические правило, является то, что в качестве процента верно классифицируемых данных сообщается процент данных обучающей выборки, которые были отклассифицированы правильно. Конечно же, такой процент всегда будет выше, чем процент правильных решений при последующей работе уже готового правила. Поэтому следует предусмотреть проверку запасти так называемую экзаменующую выборку и по ней провести изучение построенного правила. Если объем первоначальной обучающей выборки велик, то это сделать нетрудно, но обычно бывает жаль тратить значительную часть априорной информации на проверку без использования ее при построении самой процедуры. Поэтому можно использовать "более хитрые"методы, особенно если первоначальный объем выборки невелик.

Во-первых, можно использовать следующий прием: один из элементов обучающей выборки исключается и строится прогностическое правило

по оставшимся n 1 элементам и удаленный элемент используется в каче- стве экзаменующего. Затем удаленный элемент возвращается в выборку, удаляется второй элемент и процедура повторяется. Алгоритм заканчи- вает свою работу, когда удалению подвергнутся все элементы выборки по очереди.

Во-вторых, напомним уже упоминавшийся выше алгоритм В.Эфрона "bootstrap", заключающийся в том, что имеющаяся выборка объявляется генеральной совокупностью и экзаменующая выборка набирается из нее методом случайного отбора. Имеется и ряд других методов.

После расчета значений дискриминационной функции (X) на элементах экзаменующей выборки, принадлежащих первому классу, обыч- но рассчитывают их среднюю величину g(1) . Пусть теперь (1) средняя величина значений дискриминационной функции на элементах первого класса первоначальной обучающей выборки. Построим теперь новую (исправленную) функцию

0(X) = (X) + ( (1) g(1)):

Ясно, что этот процесс при появлении новых экзаменующих выборок можно повторять многократно (и не обязательно с элементами первого класса). Тем самым мы обеспечим "самообучаемость"алгоритма дискриминации.

Настало, наконец, время сказать, что хотя объективных показателей качества проведенной дискриминации в практике используется много, на наш взгляд, одной из самых наглядных служит вероятность ошибочной классификации. Если мы припомним обозначения, введенные в предыду-

щем разделе и дополнительно обозначим через mj; j = 1; :::; k число элементов обучающей (или экзаменующей) выборки, относившихся к j-му классу, содержавшей m элементов и ошибочно отнесенных к какому-либо другому классу (кроме j-го), то вероятность ошибочной классификации q вычисляется по формуле

X

k mj

q = j m :

j=1

Если же у нас имеются заданные штрафы за ошибочную классификацию (см. (9.7)), то можно рассмотреть величину средних потерь

которая также является характеристикой качества дискриминации.

По крайней мере беглого упоминания здесь заслуживает тот факт, что типичной ситуацией, в которой работает аппарат дискриминантного анализа, является постоянное увеличение количества изучаемых данных. Что при этом происходит, чтобы алгоритм не терял своих классифицирующих свойств в так называемой "классической"ситуации, когда растет только объем выборки, мы только что рассмотрели. Но иногда по мере

увеличения объема выборки n растет также и число изучаемых пара-

метров p. Как организовать работу исследователя в этих условиях? За ответом на этот вопрос отсылаем читателя к [2, с.88-96] и дальнейшим ссылкам на литературу там.

Глава 10

Группировка как метод снижения размерностей

Связь между группировкой и снижением размерности задачи уже обсуждалась в главе 8, а простейшие методы группировки в 3. Здесь мы остановимся на нескольких методах, которые относятся к группировке не наблюдаемых объектов, как раньше, а тех признаков, которыми эти объекты обладают. Эти методы возможно применять в ситуации, когда задача не имеет четкой структуры, ситуации, которая типична при работе с данными медицины, биологии, экономики или психологии. Отметим прежде всего, что если задача неконкретна, границы методов расплывча- ты и т.д., то имеет смысл сначала попытаться уточнить ее и лишь потом решать. Но иногда точное понимание приходит уже в процессе обработки данных, и это одна из причин, по которым описываемые ниже методы используются на практике.

10.1Метод экстремальной группировки признаков

Пусть с каждым из изучаемых объектов связано p признаков, которые

разбить множество номеров f1; :::; pg признаков на непересекающиеся

подмножества D = f (1); :::; (q)g и построить для каждого из этих подмножеств такую линейную комбинацию признаков с номерами, по-

113

114 Глава 10. Эвристические методы

павшими в это подмножество, что выбранное разбиение и построенные комбинации максимизируют определенный критерий оптимальности.

Если это будет проделано, то весь набор исходных признаков с номерами, попавшими в (j) заменяется (одной) соответствующей комбина-

цией, которую мы обозначим fj, ïðè j = 1; :::; q, и размерность задачи сокращается с p äî q.

Dfj = 1; j = 1; ::; q, а критерии оптимальности связывают с коэффициентами корреляции признаков внутри выбранной

группы (j) и с формируемым фактором f

Мы рассмотрим два различных вариантаj.критериев оптимальности.

10.1.1Критерий квадратов

где через F обозначен набор всех q линейных комбинаций признаков f нормированных условием единичной дисперсии. Это выражение и будетj,

здесь являться критерием оптимальности.

Сначала предположим, что разбиение на группы уже задано. Тогда построения факторов из F следует производить отдельно для каждой

группы, и для i-й группы задача будет заключаться в максимизации суммы

Si = X 2(Xj; fi)

j2 (i)

по выбору коэффициентов в линейной комбинации, представляющей со- бой фактор fi. Эта и похожие на нее задачи на максимум будут далее

встречаться не один раз, поэтому докажем здесь следующий полезный факт.

~

ного числа ковариационной матрицы V = covX и достигается тогда, когда ~ равен единичному собственному вектору этой матрицы, отве- чающим этому собственному числу.

Доказательство. Заметим, что наши условия нормировки приводят к следующему виду максимизируемой функции:

(была учтена симметричность матрицы V ). Используя определение произведения матриц, видим, что

Вновь была использована симметричность V и свойство, позволяющее матрицу перебрасывать с аргумента на аргумент скалярного произведения, превращая ее в транспонированную.

Но из курса алгебры известно, что умножение вектора на матрицу представляет собой последовательное выполнение поворота (который не меняет длины вектора, в нашем случае равной 1) и растяжения, причем растяжение в чистом виде по определению совершается только вдоль направлений, отвечающих собственным векторам. Итак, величина kV ~k2,

116 Глава 10. Эвристические методы

которую мы исследуем на экстремум, может быть выбрана лишь из зна- чений 21; :::; 2p квадратов собственных чисел V . Поскольку ковари-

ационная матрица V положительно определена, и собственные числа ее положительны, то теорема полностью доказана.

Итак, из доказанной теоремы следует, что при фиксации разбиения на группы оптимальный набор факторов определяется формулами

ной матрицы признаков j-й группы, отвечающего максимальному ее соб-

ственному числу, ri;k = (Xi; Xk). Появление квадратного корня в знаменателе связано с необходимостью добиться выполнения условия нор-

мировки для Xi; i = 1; ::; p в теореме 17.

Если мы теперь, наоборот, предположим, что факторы fj; j = 1; :::; q уже построены, то нетрудно построить разбиение D, максимизирующее Kq(F; D): положим

Если при выполнении шага 1 получилось, что D = D ; F = F то оптимальное разбиение и оптимальная система факторовk 1 k построенаk k 1.,

Иначе шаг 1 повторить.

10.1.2Критерий модулей

При втором подходе к понятию оптимальности экстремальной группировки признаков критерием служит функционал

q

Из формулы видно, что максимизация этого функционала имеет тот же качественный смысл, что и только что рассмотренная задача. Исследуя этот функционал при помощи методов математического анализа и составляя функцию Лагранжа, исходя из условий

Dfi = 1; i = 1; :::; q;

можно показать, что в точке максимума каждый из факторов должен иметь вид

где коэффициенты di; i = 1; :::; q принимают значения 1, и именно при этих значениях коэффициентов на оптимальном разбиении достигает своего максимума финкционал

Значит, достаточно максимизировать функционал J. При фиксированном разбиении на группы D этот функционал достигает максимума,

если внутри каждой группы коэффициенты d ; :::; d

личину соответствующей дисперсии, что означает1 связьq максимизируютэтих коэффициве--

ентов со знаками коэффициентов корреляции ri;j = (Xi; Xj). Для того, чтобы при фиксированном разбиении на группы построить коэффициенты оптимальным образом, нужно учесть соотношение

01

Ê øàãó 6.

Øàã 6. Увеличим номер i. Åñëè i p, то к шагу 2, иначе к шагу 7.

øàãó 1.

m = m + 1 è ê

Тем самым, алгоритм заканчивает работу только тогда, когда при изучении всех признаков ни один не перешел в другую группу.

10.2Метод корреляционных плеяд

Этот метод применяется тогда, когда среди p имеющихся у нас признаков нужно выделить группы признаков, наиболее тесно связанных между собой, причем количество этих групп ("плеяд") неизвестно. Тем самым, решаемая задача близка к экстремальной группировке признаков и две этих задачи могут решаться параллельно. Рассмотрим два варианта этого простого эмпирического метода.

Предположим, что по результатам наших наблюдений мы имеем оценку B корреляционной матрицы наших признаков (напомним, что это

квадратная матрица порядка p, у которой (i; j)-м элементом является ri;j коэффициент корреляции между Xi è Xj). Отметим на плоскости

p точек, каждая из которых будет изображать один из признаков, соединим их каждую с каждой отрезком прямой и возле отрезка, соединяю-

ùåãî i-þ è j-ю точку подпишем число r

вес соответствующей связи. Теперь зададимi;j. Этимнекоечисломпороговоемы определимзначение

r и сотрем все отрезки, вес которых меньше, чем r. Если мы начнем

постепенно увеличивать пороговое значение r, то рано или поздно наш рисунок разобъется на не связанные между собой части "плеяды". Эти части и представляют собой искомые группы признаков.

Несмотря на свою простоту, описанный алгоритм эффективно работает на начальных этапах выяснения зависимостей и довольно часто применяется практиками.

Иногда наряду с выделением наиболее сильно коррелированных групп признаков ставится задача описания так называемого дерева зависимостей признаков. Для этого требуется указать для каждого из признаков те из остальных, которые наиболее сильно с ним связаны. Эту задачу ре-

шает так называемый алгоритм Крускала из теории графов. Его работу можно описать следующим образом:

Øàã 1. В корреляционной матрице B находим максимальный элемент

r

ìíèì,i;j из тех,находятсячто неединицы)расположенысоединяемна главнойточки,диагоналиизображающие(а на ней, напоприписываем нарисованному отрезку вес Xi è Xj è

k = i; s = j. Ê

øàãó 2.

Øàã 2. Â k-é è s-й строчке B ищем максимальные элементы среди таких, номера которых ранее не встречались в нашем алгоритме. Если таких не удалось найти ни одного, то работа алгоритма закончена, иначе

ê øàãó 3. . Среди найденных элементов (возможно, он один) выбираем

Øàã 3

максимальный. Пусть это элемент ra;b. Заметим, что один из индексов a; b обязательно совпадает с k èëè s, а другой нет. Рисуем отрезок, со-

единяющий точку, соответствующую X è X

ствующий вес. Производим переприсвоениеa значенийb и придаемпридаемему соответтомуиз-

индексов k; s, который совпадал, например, с a, значение b (или наоборот), а второй оставляем неизменным. К шагу 2.

После того, как работа этого алгоритма закончена (а он обязатель-

но закончится не позднее, чем через p 1 проходов, так как повторение точек у нас запрещено), у нас будет нарисован граф без циклов, описывающий структуру коррелированности признаков. Согласно принятой в теории графов терминологии, этот граф будет деревом. Нетрудно понять, что среди всех деревьев, построенных на наших точках, это дерево будет "наиболее тяжелым", а в случае, когда совместное распределение признаков было нормальным, оно описывает структуру собственно зависимостей признаков.

Если теперь нужно выделить группы наиболее коррелированных признаков, то процедуру с увеличением порогового значения, описанную чуть выше, применим к построенному дереву. В практических задачах именно эта процедура доказала свою большую эффективность по сравнению с описанным в начале раздела методом. Это обусловлено многими причинами, например, тем, что обычно встречаются именно древообразные структуры зависимостей признаков, а не какие-либо иные.