
- •Кластерный анализ
- •2.1. Введение
- •2.2. Признаки объекта
- •2.3. Мера сходства объектов и классов. Расстояния.
- •2.3.1 Метрика Махалонобиса
- •2.3.1.1. Центр класса, дисперсия и среднеквадратичное отклонение
- •2.3.1.2. Скейлинг (масштабное преобразование) и стандартизованное расстояние
- •2.3.1.3 Ковариационная матрица
- •2.3.1.4 Алгоритм вычисления расстояния по Махалонобису
- •2.3.2. Функции сходства.
- •2.3.3 Расстояние между списками
- •2.4. Общая схема классификации и распознавания образов
- •2.4.1. Понятие об обучении. Обучение с учителем и без учителя.
- •2.4.2. Общая схема системы классификации
- •2.5. Разделяющие поверхности и разделяющие функции
- •2.5.1 Линейные и кусочно-линейные разделяющие функции
- •2.6. Методы классификации. Алгоритмы классификации.
- •2.6.1. Алгоритм максимина
- •2.6.2. Алгоритм к-средних
- •2.6.3. Нечеткий алгоритм к-средних (Fuzzy k-means)
- •Алгоритм изодата
2.3.1.4 Алгоритм вычисления расстояния по Махалонобису
Шаг
1.
Вычислить средние значения существенных
признаков объектов принадлежащих классу
:
для
,
где
- множество значений
-го
существенного признака,
– количество объектов в классе,
– количество существенных признаков.
Тем самым будет найден и центр класса
.
Шаг 2. Вычислить ковариации между всеми парами существенных признаков:
и составить ковариационную матрицу:
Шаг
3.
Если матрица
обратима, то вычислить расстояние по
Махалонобису между предъявленным
объектом
и центром класса
:
,
где
- матрица, обратная к
.
Если
матрица
необратима, то вычислить стандартизованное
расстояние
между объектом
и центром класса
,
предварительно вычислив все
среднеквадратичные отклонения
для данного класса.
Рассмотрим подробно процедуру вычисления расстояний в метрике Махалонобиса на следующем примере. Пусть в результате предварительной классификации десять объектов, которые имеют два существенных признака, были распределены по двум классам. Значения существенных признаков объектов каждого из классов приведены в таблице 2.1.
Таблица 2.1 Существенные признаки объектов. |
||||||
Класс №1 |
|
Класс №2 |
||||
j i |
1 |
2 |
|
J I |
1 |
2 |
1 |
1 |
1 |
|
1 |
2 |
1 |
2 |
2 |
2 |
|
2 |
3 |
2 |
3 |
3 |
3 |
|
3 |
4 |
3 |
4 |
4 |
4 |
|
4 |
5 |
4 |
5 |
5 |
5 |
|
5 |
11 |
12 |
Найдем центры каждого класса. Координаты центров классов вычисляют как среднеарифметические значения одноименных, существенных признаков. Для первого класса:
Поступая
аналогичным образом, для центра второго
класса получим, что
.
Далее, необходимо вычислить дисперсии
и среднеквадратические отклонения
существенных признаков для каждого
класса. Для первого существенного
признака объектов первого класса
дисперсия определяется из соотношения
Аналогичным
образом найдем дисперсию второго
существенного признака первого класса
,
и для второго класса
.
Тогда для среднеквадратического
отклонения первого класса получим
,
а для второго класса
.
Теперь
нужно вычислить матрицы ковариаций для
обоих классов. Поскольку существенные
признаки объектов первого класса
изменяются ковариантно, то элементы
матрицы ковариаций первого класса равны
,
что дает
.
Вычислим
элементы матрицы ковариаций для второго
класса. По определению диагональные
элементы этой матрицы равны квадратам
среднеквадратических отклонений:
и
.
Осталось вычислить только недиагональные
элементы. Поскольку и в этом случае
существенные признаки объектов изменяются
ковариантно, то
.
Таким образом
.
Пусть
системе классификации предъявлен новый
объект
.
Для того чтобы отнести объект к одному
из двух классов, необходимо вычислить
расстояния между объектом и центрами
классов. Определитель матрицы
равен нулю, это означает, что для нее
нельзя найти обратную матрицу, поэтому
расстояние между новым объектом и первым
классом вычислим по формуле
.
Определитель
матрицы
равен единице,
.
Найдем обратную матрицу
.
Элементы обратной матрицы находят по
формуле
,
где
- алгебраическое дополнение элемента
в определителе
.
По
определению
.
- минор (определитель), который получают
в результате вычеркивания в определителе
-той
строки и
-того
столбца. Вычислим элементы
обратной матрицы
.
В
соответствии с формулой необходимо
вычислить алгебраические дополнения:
.
Таким образом,
.
Найдем
расстояние между объектом
и вторым классом. Для этого вычислим
элементы матрицы
.
Далее вычислим произведение матриц
Тогда расстояние между объектом и вторым классом
.