6.9. Итеративная оптимизация

Когда найдена функция критерия, группировка становится кор­ректно поставленной задачей дискретной оптимизации: найти такие разделения множества выборок, которые приводят к экстремуму функции критерия. Поскольку множество выборок конечно, существует конечное число возможных разделений. Следовательно, теоретически задача группировки всегда может быть решена трудоемким перебором. Однако на практике такой подход годится лишь для самых простых задач. Существует приблизительно сⁿ/c! способов разделения множества из п элементов на с подмножеств⁸ , и этот экспоненциальный рост при большом п. просто давит. Например, скрупулезный поиск лучшего набора из пяти групп в случае 100 выборок потребует рассмотрения более чем 10⁶⁷ разделений. Поэтому в большинстве применений перебор практически невозможен.

Наиболее часто используемым подходом для поиска оптимального разделения является итеративная оптимизация. Основная идея заключается в нахождении некоторого разумного начального разделения и в «передвижении» выборок из одной группы в другую, если это передвижение улучшает функцию критерия. Как и процедуры подъема на вершину к общем случае, такой подход гарантирует локальный, но не глобальный максимум. Различные начальные точки могут привести к разным решениям, и никогда не известно, было ли найдено лучшее решение. Несмотря на эти ограничения, вычислительные требования выполнимы, и такой подход приемлем.

Рассмотрим использование итеративного улучшения для ми­нимизации критерия суммы квадратов ошибок J_e, записанного как

здесь

где

Предположим, что выборка находящаяся в данный момент группеX_i, передвигается в группу X_j. Тогда m_j, изменяется на

и J_j увеличивается на

Приняв предположение, чтоn_i1 (одиночных групп в разбиении не должно быть), такое же вычисление показывает, что m_i изменяется на

и J_i уменьшается:

Эти соотношения значительно упрощают вычисления изменения функции критерия. Переход изX_i в X_j положителен, если умень­шение J_i, больше, чем увеличение J_j. Это случай, если

что обычно получается, когдаближе к m_j чем к m_i. Если перерас­пределение выгодно, наибольшее уменьшение в сумме квадратов ошибок достигается выбором группы, для которой n_i/(n_j+1)|| x`- m_j||² минимально. Это приводит к следующей процедуре группировки:

Процедура: Базовая Минимальная Квадратичная Ошибка

1. Выбрать первоначальное разделение выборок на группы

и вычислить J_e и средние m₁,…, m_c

Цикл: 2. Выбрать следующую выборку - кандидата на передвижение . Предполагается, чтонаходится вX_i.

3. Если n_i=1, перейти к Следующий; иначе вычислить

4. Передвинуть вX_k если _k_j для всех j.

5. Вновь вычислить J_e, m_i и m_k.

Следующий: 6. Если J_e не изменилось после п попыток, останов;

иначе перейти к Цикл.

Если эту процедуру сравнить с процедурой Базовые Изоданные, описанной в п. 6.4.4, то ясно, что первая процедура в основном представляет собой последовательный вариант второй. Тогда как процедура Базовые Изоданные ждет, пока все п выборок будут пере­группированы перед обновлением значений, процедура Базовая Минимальная Квадратичная Ошибка обновляет значения после перегруппировки каждой выборки. Экспериментально было заме­чено, что эта процедура более чувствительна к локальным минимумам; другой ее недостаток состоит в том, что результаты зависят от порядка, в котором выбираются кандидаты. Однако это по крайней мере пошаговая оптимальная процедура, и ее легко модифицировать для применения к задачам, в которых выборки получаются последовательно, а группировка должна производиться в масштабе реального времени.

Общая проблема для всех процедур подъема на вершину — это выбор начальной точки. К сожалению, не существует простого уни­версального решения этой проблемы. Один из подходов — взять с произвольных выборок в качестве центров групп и использовать их для разделения данных на основе минимума расстояния. Повторе­ния с различными случайными выборками в качестве центров могут дать некоторое представление о чувствительности решения к выбору начальной точки. Другой подход состоит в нахождении начальной точки для с-й группы из решения задачи с (с—1) группами. Решение для задачи с одной группой — это среднее по всем выборкам; начальная точка для задачи с с группами может быть средняя для задачи с (с—1) группами плюс выборка, которая находится дальше всех от ближайшего центра группы. Этот подход подводит нас к так называемым иерархическим процедурам группировок, которые про­стыми методами дают возможность получить очень хорошие началь­ные точки для итерационной оптимизации.