
- •Лекция 10. Способы представления исходной информации в интеллектуальных системах
- •10. 1 Обучение на основе примеров
- •10.2 Типы значений признаков:
- •10.3 Ранговая или порядковая шкала значений признаков
- •10.5 Выборка к-
- •10.6 Кластерный анализ
- •10.6.1 Пример процедуры кластерного анализа: .
- •10.6.2 Диаграмма рассеивания
- •10.6.3 Способы определения меры расстояния между кластерами
- •10.6.4 Работа кластерного анализа опирается на два предположения.
- •10.6.5 Рассмотрим пример.
- •10.6.6 Способы нормирования исходных данных: .
- •10.6.9 Пример вертикальной дендрограммы
- •10.6.10 Методы объединения или связи
- •Метод ближнего соседа или одиночная связь.
- •Метод Варда (Ward's method).
- •Метод наиболее удаленных соседей или полная связь.
- •Метод невзвешенного попарного среднего
- •Метод взвешенного попарного среднего
- •Невзвешенный центроидный метод
- •10.7 Задача обучения «без учителя»
- •10.8 Алгоритм, основанный на понятии порогового расстояния
- •10.8.1 Пример работы алгоритма, основанного на вычислении порогового расстояния.
- •Лекция 11. Алгоритмы обучения без учителя
- •11.1 Алгоритм maxmin
- •11.2 Алгоритм «к средних»
- •11.2.1 Пример работы алгоритма «к средних»
- •11.2.2 Проблемы алгоритма k-средних:
- •11.9. 1 Метод эталонных образов
- •11.9.2 Метод эталонных образов
- •13.2 Программированное обучение. Автор б.Ф. Скиннер
- •13.3 Основные формы программирования
- •13.3.1 Линейная программа
- •13.3.2 Разветвленная форма. Норман а. Кроудер
- •13.4 Автоматизация программированного обучения
- •13.5 Искусственный интеллект
- •13.6 Задача-максимум создания Искусственного Интеллекта
- •13.7 Автоматизированная обучающая система «Контакт»
- •13.8 Аос эвос и атос
- •13.9 Аос садко
- •13.10 Plato
- •13.11 В общем об обучающих системах
- •13.12 Интеллектуальные обучающие системы (иос)
- •13.12.1 Четыре этапа развития иос
- •13.12.2 Принципы организации и реализации интеллектуальных систем электронного обучения
- •13.13. 1 Особенности Образования Web 2.0 или Образования 2.0
- •13.14 Семантический Web (Web 3.0)
- •13.14. 1 Основыне принципы Образования 3.0
- •13.15 Иос на осве субз
- •13.16 Алгоритм муравья
- •13.17 Модель обучения в общем виде
- •13.18 Этапы создания иос от специалистов
- •13.19 Состав группы для разработки иос
10.6.9 Пример вертикальной дендрограммы
Числа 11, 10, 3 и т.д. соответствуют номерам объектов или наблюдений исходной выборки. Мы видим, что на первом шаге каждое наблюдение представляет один кластер (вертикальная линия), на втором шаге наблюдаем объединение таких наблюдений: 11 и 10; 3, 4 и 5; 8 и 9; 2 и 6. На втором шаге продолжается объединение в кластеры: наблюдения 11, 10, 3, 4, 5 и 7, 8, 9. Данный процесс продолжается до тех пор, пока все наблюдения не объединятся в один кластер.
10.6.10 Методы объединения или связи
Когда каждый объект представляет собой отдельный кластер, расстояния между этими объектами определяются выбранной мерой. Возникает следующий вопрос - как определить расстояния между кластерами? Существуют различные правила, называемые методами объединения или связи для двух кластеров.
Метод ближнего соседа или одиночная связь.
Здесь расстояние между двумя кластерами определяется расстоянием между двумя наиболее близкими объектами (ближайшими соседями) в различных кластерах. Этот метод позволяет выделять кластеры сколь угодно сложной формы при условии, что различные части таких кластеров соединены цепочками близких друг к другу элементов.
В результате работы этого метода кластеры представляются длинными "цепочками" или "волокнистыми" кластерами, "сцепленными вместе" только отдельными элементами, которые случайно оказались ближе остальных друг к другу.
Метод Варда (Ward's method).
В качестве расстояния между кластерами берется прирост суммы квадратов расстояний объектов до центров кластеров, получаемый в результате их объединения (Ward, 1963). В отличие от других методов кластерного анализа для оценки расстояний между кластерами, здесь используются методы дисперсионного анализа. На каждом шаге алгоритма объединяются такие два кластера, которые приводят к минимальному увеличению целевой функции, т.е. внутригрупповой суммы квадратов. Этот метод направлен на объединение близко расположенных кластеров и "стремится" создавать кластеры малого размера.
Метод наиболее удаленных соседей или полная связь.
Здесь расстояния между кластерами определяются наибольшим расстоянием между любыми двумя объектами в различных кластерах (т.е. "наиболее удаленными соседями"). Метод хорошо использовать, когда объекты действительно происходят из различных "рощ". Если же кластеры имеют в некотором роде удлиненную форму или их естественный тип является "цепочечным", то этот метод не следует использовать.
Метод невзвешенного попарного среднего
(метод невзвешенного попарного арифметического среднего - unweighted pair-group method using arithmetic averages, UPGMA (Sneath, Sokal, 1973)).
В качестве расстояния между двумя кластерами берется среднее расстояние между всеми парами объектов в них. Этот метод следует использовать, если объекты действительно происходят из различных "рощ", в случаях присутствия кластеров "цепочного" типа, при предположении неравных размеров кластеров.
Метод взвешенного попарного среднего
(метод взвешенного попарного арифметического среднего - weighted pair-group method using arithmetic averages, WPGM A (Sneath, Sokal, 1973)). Этот метод похож на метод невзвешенного попарного среднего, разница состоит лишь в том, что здесь в качестве весового коэффициента используется размер кластера (число объектов, содержащихся в кластере).
Этот метод рекомендуется использовать именно при наличии предположения о кластерах разных размеров.