6.12. Проблема обоснованности

Почти для всех процедур, которые мы пока что рассмотрели, предполагалось, что число групп известно. Это разумное предположение, если мы обновляем классификатор, который был создан на малом множестве выборок, или если следим за образами, медленно меняющимися во времени. Однако это очень неестественное предположение в случае, когда мы исследуем совершенно неизвестное множество данных. Поэтому в кластерном анализе постоянно присутствует проблема: сколько групп имеется в множестве выборок?

Когда группировка производится достижением экстремума функции критерия, обычный подход состоит в том, что необходимо повторить процедуры группировки для с=1, с=2, с=3 и т. д. и проследить за изменением функции в зависимости от с. Например, ясно, что критерий по сумме квадратов ошибок J_e должен монотонно уменьшаться в зависимости от с, так как квадратичную ошибку можно уменьшать каждый раз, когда с увеличивается, за счет пересылки одной выборки в новую группу. Если п выборок разделены на компактных, хорошо разделенных групп, можно ожидать, чтоJ_e будет уменьшаться быстро до момента, когда с= , после этого уменьшение должно замедлиться, а прис=п станет равным нулю. Подобные аргументы можно выдвинуть и для процедуры иерархической группировки, причем обычно предполагается, что большие различия в уровнях, на которых группы объединяются, указывают на наличие естественных группировок.

Более формальным подходом к задаче является попытка найти некоторую меру качества, которая показывает, насколько хорошо Данное описание из с групп соответствует данным. Традиционными мерами качества являются хи-квадрат и статистики Колмогорова - Смирнова, но размерность данных обычно требует использования более простых мер, таких, как функция критерия J(с). Так как мы предполагаем, что описание на основании (с +1) групп будет точнее, чем на основании с групп, то хотелось бы знать, что дает статистически значимое улучшение J (с).

Формальным способом является выдвижение нулевой гипотезы, что имеются только с групп, и вычисление выборочного распределе­ния для J(c+1) этой гипотезы. Это распределение показывает, какого улучшения надо ожидать, когда описание из с групп является правильным. Процедура принятия решений должна принять нуле­вую гипотезу, если полученное значение J(c+1) попадает внутрь пределов, соответствующих приемлемой вероятности ложного отказа.

К сожалению, обычно очень трудно сделать что-либо большее, кроме грубой оценки такого распределения для J(c+1). Конечное решение не всегда достоверно, и статистическая задача проверки правильности группировки в основном не решена. Однако, пред­полагая, что даже некачественная проверка лучше, чем никакая, мы проведем следующий приблизительный анализ для простого критерия суммы квадратов ошибок. Предположим, что мы имеем множество X из п выборок и хотим решить, есть ли какое-либо основание для предположения, что они образуют более одной группы. Выдвинем нулевую гипотезу, что все п выборок получены из нормального распределения со средним , и матрицей ковариаций ²I. Если эта гипотеза правильна, то любые обнаруженные группы были сформированы случайно, и любое замеченное уменьшение суммы квадратов ошибок, полученное при группировке, не имеет значения.

Сумма квадратов ошибок J_e(1) — случайная переменная, так как она зависит от определенного множества выборок:

где m — среднее всех п выборок. Согласно нулевой гипотезе, рас­пределение для J_e(1) приблизительно нормальное со средним nd² и дисперсией 2nd⁴.

Предположим теперь, что мы разделяем множество выборок на два подмножества X₁ и X₂ так, чтобы минимизировать J_e(2), где

здесь m_i — среднее выборок в X_i. Согласно нулевой гипотезе, такое разделение ложно, но тем не менее дает в результате значение J_e(2), меньшее J_e(1). Если бы мы знали выборочное распределение для J_e(2), то могли бы определить, насколько мало должно быть J_e(2),до того, как будем вынуждены отказаться от нулевой гипотезы одногруппового разделения. Так как аналитическое решение для оптимального разделения отсутствует, мы не можем вывести точного решения для распределения выборок. Однако можно получить приблизительную оценку, получив проведением гиперплоскости через среднее выборок разделение, близкое к оптимальному. Для больших п можно показать, что сумма квадратов ошибок для та­кого разделения приблизительно нормальна со средним n(d—2/)² и дисперсией 2n(d-8/²) ⁴.

Результат совпадает с нашим предположением, что J_e(2) меньше, чем J_e(1) так как среднее n(d—2/)² для J_e(2) для близкого к оп­тимальному разделению меньше, чем среднее для J_e(1) — nd². Чтобы стать значимым, уменьшение суммы квадратов ошибок должно быть больше, чем этот результат. Мы можем получить приблизительное критическое значение для J_e(2), предположив, что близкое к оптимальному разделение почти оптимально, используя нормальную аппроксимацию для распределения выборок и оценивая ² как

Конечный результат можно сформулировать следующим обра­зом: отбрасываем нулевую гипотезу сp-процентным уровнем значи­мости, если

где определяется из выражения

Таким образом, мы получим тест для решения, оправданно или нет разбиение группы. Ясно, что задачу сс группами можно ре­шать, применив те же тесты для всех найденных групп.