2. Математико-статистические идеи метода. Исходные данные и результаты.

Классы, на которые разбито множество объектов, можно представить как значения некоторой классифицирующей («зависимой») переменной, измерен­ной в шкале наименований. Дискриминантные переменные представлены в числовой шкале. Основная задача дискриминантного анализа заключается в том, чтобы по значениям дискриминантных переменных для объектов полу­чить значения классифицирующей переменной, то есть определить классы, в которые попадают эти объекты.

Дискриминантные переменные, количество которых равно Р, можно пред­ставить себе как ортогональные оси р-мерного евклидова пространства. Тог­да каждый объект будет являться точкой в этом пространстве, положение ко­торой задано значениями дискриминантных переменных для этого объекта как его координатами. Так, если переменных две, то объект может быть изоб­ражен на плоскости в месте пересечения координат, соответствующих значе­ниям этих двух переменных для данного объекта. Если переменных три, то объект представляет собой точку в трехмерном пространстве, и т. д.

Множество объектов в пространстве Р признаков можно представить как скопление точек. Чем более объекты похожи друг на друга по данным при­знакам, тем плотнее будет скопление точек. Если несколько классов объек­тов отличаются друг от друга по дискриминантным переменным, то их можно представить как. соответствующие классам скопления точек в некоторых областях Р-мерного пространства признаков. Чем больше объекты внутри каждого класса похожи друг на друга и отличаются от объектов из другого класса, тем меньше пересечений соответствующих классам «территорий»,

Для каждого класса в пространстве признаков можно определить положе­ние центроида — точки, координаты которой есть средние значения дискриминантных переменных для данного класса. Центроид — это место типичных наблюдений для данного класса, его можно использовать как для описания различий между классами, так и для определения принадлежности «неизвес­тных» объектов к одному из классов.

Из геометрической интерпретации задачи дискриминантного анализа сле­дует правило классификации объектов: объект приписывается к тому классу, к центроиду которого он ближе всего. Соответственно, сама задача классифи­кации объектов сводится к определению расстояний от каждого объекта до центроидов каждого класса по известным значениям дискриминантных пе­ременных.

В современных компьютерных программах задача классификации реша­ется с помощью канонических дискриминантных функций. Канонические функции — это ортогональные оси, в максимальной степени различающие центроиды классов. Началом координат для канонических функций явля­ется «главный центроид» — точка, координаты которой есть средние значе­ния всех дискриминантных переменных. Первая каноническая ось ориен­тирована в направлении, в котором центроиды классов различаются в максимальной степени. Если классов больше двух, то вторая ось ориенти­рована перпендикулярно первой в направлении максимального различия классов и т. д. Максимальное число таких функций равно числу классов за вычетом единицы. Так, для различения двух центроидов (классов) доста­точно одной оси, для различения трех классов — двух канонических функ­ций, и т.д. Таким образом, канонические функции позволяют преобразо­вать Р-мерное пространство исходных признаков в Q-мерное пространство дискриминантных функций (Q = G - 1, где G — число классов).

Канонические функции и дискриминантные переменные связывают стан­дартизированные канонические коэффициенты, которые позволяют оценить относительный вклад переменных в каждую каноническую функцию. В от­личие от них, структурные коэффициенты канонических функций — это кор­реляции канонических функций и дискриминантных переменных. Как и фак­торные нагрузки в факторном анализе, структурные коэффициенты отражают связь дискриминантных переменных с каноническими функциями. Струк­турные коэффициенты канонических функций показывают вклад каждой дискриминантной переменной в различительную способность соответству­ющей функции. Таким образом, каждая каноническая функция может быть интерпретирована через переменные, вносящие в нее наибольший по аб­солютной величине вклад — подобно интерпретации факторов по фактор­ным нагрузкам в факторном анализе.

Анализ канонических функций сопровождается получением важных статис­тических показателей качества классификации. Основными из них являют­ся: собственное значение канонической функции, λ-Вилкса и χ^2-тест.

Собственное значение канонической функции, как и в факторном анализе, есть показатель информативности функции. Сумма всех собственных значе­ний равна числу классов. Соответственно, собственное значение для данной канонической функции, деленное на количество классов, есть показатель ее информативности — доли суммарной дисперсии всех объектов по всем пере­менным, которая исчерпывается этой канонической функцией.

λ-Вилкса выполняет ту же функцию, что и в MANOVA, то есть является мерой достоверности различения классов при помощи данного набора пере­менных. λ-Вилкса — это мера остаточной дискриминативной способности переменных при учете данного набора канонических функций. Следователь­но, чем меньше λ-Вилкса, тем лучше данная каноническая функция (или весь их набор) различает объекты. χ^2-тест позволяет определить статистическую достоверность такого различения.

Значения канонических функций вычисляются для каждого объекта по фор­муле, которая идентична по виду линейному уравнению множественной рег­рессии.

Значе­ния канонических функций вычисляются для каждого центроида и каждого объекта, в том числе — «неизвестного», для которого не известна принадлеж­ность к классу, и интерпретируются как их координаты в пространстве кано­нических функций. В этом пространстве малой размерности можно получить наглядное отображение всех объектов вместе с центроидами классов.

Принадлежность объекта к классу в большинстве компьютерных программ дискриминантного анализа определяется по расстоянию этого объекта до цен­троида соответствующего класса в пространстве канонических функций. Объект причисляется к тому клас­су, к центроиду которого он ближе всего. Однако надо помнить, что если расстояние объекта до класса велико (то есть профиль объекта мало похож на среднегрупповой), то объект может быть причислен к данному классу, поскольку до ос­тальных классов он еще дальше.

Производной от расстояния является еще одна мера классификации -апостериорная вероятность принадлежности к классу. Априорная вероятность («до опыта») принадлежности «нового» объекта к классу равна численности «известных» объектов этого класса, деленной на все «известные» объекты. Эта вероятность известна и без дискриминантного анализа, «до опыта». Апосте­риорная вероятность («после опыта») вычисляется исходя из расстояний дан­ного объекта до центроидов каждого класса в предположении, что он при­надлежит к одному из этих классов. Для любого объекта, следовательно, сумма этих вероятностей по всем классам равна 1. И чем меньше расстояние этого объекта до центроида класса, тем выше апостериорная вероятность его при­надлежности к этому классу. Отнесение объекта к классу на основе наиболь­шей из вероятностей, таким образом, эквивалентно использованию наимень­шего расстояния до центроида этого класса.

Вычисленные расстояния или апостериорные вероятности для известных объектов позволяют определить точность классификации и проанализиро­вать ошибки, а для неизвестных — отнести объекты к одному из классов.

Анализ дискриминантных переменных позволяет, если это необходимо, отсеять несущественные для предсказания дискриминантные переменные. Наиболее важными показателями в этом анализе являются: критерий F-Фишера, толерантность и статистика F-удаления. Значимость каждой перемен­ной для разделения классов определяется по F -Фишера по модели дисперси­онного анализа. Толерантность равна единице минус квадрат коэффициента множественной корреляции этой переменной со всеми остальными. Если толерантность равна нулю, то эта переменная является линейной комбина­цией одной или нескольких других переменных и ее нельзя включать в ана­лиз, равно как и переменные с очень малой толерантностью (скажем, меньше 0,001). Статистика F-удаления оценивает ухудшение разделения классов при удалении данной переменной из набора. Следовательно, чем больше значе­ние этой статистики, тем более значима данная переменная для различения классов. На величину статистики F -удаления влияет не только различитель­ная способность самой этой переменной (как в модели дисперсионного ана­лиза), но и ее связь с другими переменными: чем сильнее она связана с други­ми переменными, тем меньше статистика F-удаления, тем меньше значение данной переменной.

Компьютерные программы позволяют автоматически отсеять малозначи­мые для дискриминантного анализа переменные. Во-первых, программа (SPSS) автоматически исключает из анализа переменные с низкой толерант­ностью. Во-вторых, возможен пошаговый дискриминантами анализ. При по­шаговом методе переменные удаляются из анализа или включаются в него на основе улучшения (ухудшения) качества различения классов (обычно — по λ-Вилкса). Критериями для включения и удаления переменной являются ста­тистики F -включения и F -удаления, которые показывают степень улучше­ния и ухудшения различения классов при включении и удалении данной переменной. Численные значения этих статистик могут быть заданы пользо­вателем программы.

Дополнением к задаче классификации является анализ расстоянии между классами. Программы обычно вычисляют значения F -критерия Фишера и р-уровень статистической значимости расстояния. Анализ расстояний позво­ляет определить, насколько существенно различаются классы по выбранным для анализа дискриминантным переменным.

Несмотря на обилие статистических критериев и показателей качества классификации, основным ориентиром для исследователя должно вес же яв­ляться сопоставление действительной классификации «известных» объектов и их классификации при помощи канонических функций. Таким образом, основным показателем качества является процент совпадения этих двух классификаций.

Дискриминантный анализ относится к наиболее сложным методам.

Тема: «Кластерный анализ»