5.3 Варіанти індивідуальних завдань
Сформувати множину числових векторів, що визначають описи об’єктів. Реалізувати алгоритм групування [4]:
1) за нормою векторів з використанням медіани або інших статистичних величин;
2) на основі просіювання (алгоритм Уішарта);
3) ієрархічна
класифікація на основі міри близькості
між кластерами
та заданим порогом близькості.
Порівняти результати кластеризації різними методами. Застосувати статистичний пакет для здійснення кластеризації.
5.4 Контрольні запитання і завдання
1. Що таке кластеризація?
2.Поясніть різницю між мірою близькості та метрикою стосовно кластеризації.
3. Як і де застосовується міра близькості між кластерами?
4. Для чого в ієрархічній класифікації потрібен поріг?
5. Поясніть суть агломеративного та дивізимного способів кластеризації
6. У чому суть алгоритма Уішарта?
6 Завдання для самостійного виконання
Метод класифікації Support Vector Machines.
Застосування кластерного аналізу при розпізнаванні зображень об’єктів за структурним описом.
Застосування методу «найближчих сусідів» для розпізнавання та пошуку закономірностей в даних.
Застосування методів прикладної статистики в задачах АД.
Вивчення методів кластеризації та статистичного аналізу числових даних у пакеті STATISTICA.
Оцінка значень порогів та показників якості розбивань при аналізі даних суміші нормально розподілених величин.
Вивчити практичні засоби застосування OLAP технологій для задач ІАД.
Статистичні гіпотези та критерії їх перевірки.
Засоби дисперсійного аналізу [3].
Виконати байесовську класифікацію для випадку декількох класів.
Ознайомитися з методами очистки даних (видалення аномалій, фільтрація від шумів, заповнення пропусків, виявлення дублювання та протиріч, згладжування).
Застосування методів кореляційного аналізу даних в задачах аналізу та порівняння відеоданих.
7 Комплексне завдання з курсу «Інтелектуальний аналіз даних»
І.
Сформувати програмно або за допомогою
пакету вибірку із суміші трьох випадкових
величин з нормальним розподілом та
параметрами
,
де
– задані апріорно математичні очікування
та середньоквадратичні відхилення
компонентів суміші. Задати та обмежити
фіксований діапазон вимірювань.
1. Побудувати гістограму значень з метою візуального аналізу даних.
2. Обчислити середнє значення та середньоквадратичне відхилення вибірки, застосувати критерій хі-квадрат для перевірки гіпотези про нормальний закон розподілу. Виконати обчислення та аналіз при різних значеннях , включаючи варіант однакових значень параметрів суміші.
3. Визначити параметри кореляції та регресії суміші та її окремих компонент.
4. Сформувати дерево рішення для задачі віднесення заданого значення до однієї з компонентів суміші.
5. Розробити набір асоціативних правил для задачі віднесення вимірюваного значення до однієї з компонентів суміші.
6. Застосувати кластерний аналіз різними методами для розділення елементів на компоненти суміші із заданою або невизначеною кількістю таксонів.
7. Виконати оцінку значень порогів для розбивання суміші та обчислити показники якості розбивань у вигляді кореляційного відношення при аналізі даних.
8. Застосувати пакет STATISTICA для реалізації задач ІАД.
9. Розробити програмний проект для формування списку магістрів (бюджет та контракт) на основі факторів: кількість студентів, кількість бюджетних місць, правило формування (сума балів рейтингу, захисту диплома бакалавра, екзамену з іноземної мови, балу за наукову роботу).
10. Розробити програмний проект для формування списку студентів трьох спеціальностей (бюджет та контракт) на основі факторів: кількість абітурієнтів, кількість бюджетних місць, правило формування (сума балів атестату, трьох тестів, вибору рейтингу спеціальності (1, 2, 3), права на першочерговий вступ).
Перелік посилань
Дюк В. Data Mining - интеллектуальный анализ данных : [Электронный ресурс] / Режим доступа: http://www.iteam.ru/publications/it/section_55/ article_1448. /
Методы и модели анализа данных: OLAP и Data Mining. / А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод: учебн. пособие.– СПб: БХВ-Петербург. – 2004. –336с.
Герасін С.М. Конспект лекцій з математичної статистики: навч. посібник / С.М. Герасін, Л.І. Константінова, С.І. Лапта. – Х.: ХНУРЕ, 2007. – 100с.
Прикладная статистика: Классификация и снижение размерности: справ. изд. / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин; под ред. С.А. Айвазяна. – М.: Финансы и статистика, 1989. – 607с.
Методичні вказівки до лабораторних робіт з дисциплін “Технології статистичного та інтелектуального аналізу інформації”, „Інтелектуальний аналіз даних”, „Машинне навчання” для студентів денної форми навчання напрямів 6.050103 – Програмна інженерія, 6.050101 – Комп’ютерні науки / Упоряд.: Шатовська Т.Б., Рєпка В.Б., Гуд А.Ю. Харків: ХНУРЕ, 2008. 108 с.
Вуколов В.А. Основы статистического анализа. Практикум по статистическим методам и исследованию операций с использованием пакетов STATISTICA и EXEL: учебн. пособие.– М.: ФОРУМ, 2008.– 464с.