- •Кластерный анализ
- •2.1. Введение
- •2.2. Признаки объекта
- •2.3. Мера сходства объектов и классов. Расстояния.
- •2.3.1 Метрика Махалонобиса
- •2.3.1.1. Центр класса, дисперсия и среднеквадратичное отклонение
- •2.3.1.2. Скейлинг (масштабное преобразование) и стандартизованное расстояние
- •2.3.1.3 Ковариационная матрица
- •2.3.1.4 Алгоритм вычисления расстояния по Махалонобису
- •2.3.2. Функции сходства.
- •2.3.3 Расстояние между списками
- •2.4. Общая схема классификации и распознавания образов
- •2.4.1. Понятие об обучении. Обучение с учителем и без учителя.
- •2.4.2. Общая схема системы классификации
- •2.5. Разделяющие поверхности и разделяющие функции
- •2.5.1 Линейные и кусочно-линейные разделяющие функции
- •2.6. Методы классификации. Алгоритмы классификации.
- •2.6.1. Алгоритм максимина
- •2.6.2. Алгоритм к-средних
- •2.6.3. Нечеткий алгоритм к-средних (Fuzzy k-means)
- •Алгоритм изодата
2.3.1.4 Алгоритм вычисления расстояния по Махалонобису
Шаг 1. Вычислить средние значения существенных признаков объектов принадлежащих классу :
для , где - множество значений -го существенного признака, – количество объектов в классе, – количество существенных признаков. Тем самым будет найден и центр класса .
Шаг 2. Вычислить ковариации между всеми парами существенных признаков:
и составить ковариационную матрицу:
Шаг 3. Если матрица обратима, то вычислить расстояние по Махалонобису между предъявленным объектом и центром класса :
,
где - матрица, обратная к .
Если матрица необратима, то вычислить стандартизованное расстояние между объектом и центром класса , предварительно вычислив все среднеквадратичные отклонения для данного класса.
Рассмотрим подробно процедуру вычисления расстояний в метрике Махалонобиса на следующем примере. Пусть в результате предварительной классификации десять объектов, которые имеют два существенных признака, были распределены по двум классам. Значения существенных признаков объектов каждого из классов приведены в таблице 2.1.
Таблица 2.1 Существенные признаки объектов. |
||||||
Класс №1 |
|
Класс №2 |
||||
j i |
1 |
2 |
|
J I |
1 |
2 |
1 |
1 |
1 |
|
1 |
2 |
1 |
2 |
2 |
2 |
|
2 |
3 |
2 |
3 |
3 |
3 |
|
3 |
4 |
3 |
4 |
4 |
4 |
|
4 |
5 |
4 |
5 |
5 |
5 |
|
5 |
11 |
12 |
Найдем центры каждого класса. Координаты центров классов вычисляют как среднеарифметические значения одноименных, существенных признаков. Для первого класса:
Поступая аналогичным образом, для центра второго класса получим, что . Далее, необходимо вычислить дисперсии и среднеквадратические отклонения существенных признаков для каждого класса. Для первого существенного признака объектов первого класса дисперсия определяется из соотношения
Аналогичным образом найдем дисперсию второго существенного признака первого класса , и для второго класса . Тогда для среднеквадратического отклонения первого класса получим
,
а для второго класса
.
Теперь нужно вычислить матрицы ковариаций для обоих классов. Поскольку существенные признаки объектов первого класса изменяются ковариантно, то элементы матрицы ковариаций первого класса равны , что дает
.
Вычислим элементы матрицы ковариаций для второго класса. По определению диагональные элементы этой матрицы равны квадратам среднеквадратических отклонений: и . Осталось вычислить только недиагональные элементы. Поскольку и в этом случае существенные признаки объектов изменяются ковариантно, то . Таким образом
.
Пусть системе классификации предъявлен новый объект . Для того чтобы отнести объект к одному из двух классов, необходимо вычислить расстояния между объектом и центрами классов. Определитель матрицы равен нулю, это означает, что для нее нельзя найти обратную матрицу, поэтому расстояние между новым объектом и первым классом вычислим по формуле
.
Определитель матрицы равен единице, . Найдем обратную матрицу . Элементы обратной матрицы находят по формуле
,
где - алгебраическое дополнение элемента в определителе .
По определению . - минор (определитель), который получают в результате вычеркивания в определителе -той строки и -того столбца. Вычислим элементы обратной матрицы . В соответствии с формулой необходимо вычислить алгебраические дополнения:
.
Таким образом,
.
Найдем расстояние между объектом и вторым классом. Для этого вычислим элементы матрицы
.
Далее вычислим произведение матриц
Тогда расстояние между объектом и вторым классом
.