Методи побудови правил класифікації

Лабораторна робота №1

Міністерство освіти і науки, молоді та спорту України

Національний університет “Львівська політехніка”

Кафедра автоматизованих систем управління

Методичні вказівки

до лабораторної роботи №1

“Класифікація та регресія. Методи побудови правил класифікації”

з дисципліни

“Інтелектуальний аналіз даних”

для студентів базового напрямку підготовки за спеціальністю

“Комп’ютерні науки” (шифр 0804)

Львів 2012 – 2013

Методичні вказівки до лабораторної роботи №1

“ Класифікація та регресія. Методи побудови правил класифікації ” з дисципліни “ Інтелектуальний аналіз даних ” для студентів спеціальності - шифр 0804 “Комп’ютерні науки”/ Укл. доц. Ковівчак Я.В.,

Львів: Національний університет “Львівська політехніка”, 2012

Методичні вказівки обговорено та схвалено на засіданні кафедри АСУ Протокол № ___________ від «___»___________2012 р.

Завідувач кафедрою АСУ ______________ Медиковський М.О.

Методичні вказівки обговорено та схвалено на засіданні методичної комісії базового напрямку підготовки

Протокол № ___________ від «___»___________2012 р.

Мета: Розглянути основні методи побудови правил кдасифікації; визначити переваги та недоліки методів.

Завдання: Навчитись будувати правила класифікації для розв’язання задач.

Теоретична частина:

1. Постановка завдання.

У задачі класифікації потрібно визначити значення залежної змінної об'єкта на підставі значень інших змінних, що характеризують даний об'єкт.

Якщо значеннями змінної є значення кінцевої нескінченості, то вона має категоріальний тип. Якщо безліч значень змінної у скінченна, то задача називається класифікацією. Якщо ж безліч значень є безліччю дійсних чисел, то задача називається регресією.

Представлення результатів

1) Правило класифікації.

ЯКЩО (умова) ТО (висновок)

2) Дерева рішень - це спосіб представлення правил в ієрархічній структурі. Кожен вузол дерева включає перевірку першої незалежної змінної. Від дерева рішень можна перейти до правил. Перетворення від правил в деревам не завжди можливо в зв'язку з тим, що правила мають велику свободу до запису.

3) Математичні функції. У цьому випадку об'єкти розглядаються як точки в м +1 мірному просторі ознак. Якщо використовуються категоріальні змінні, то вони перетворюються до числового типу.

В даній лабораторній роботі ми розглянемо методи побудови правил класифікації, а саме:

1. 1R алгоритм (One rule )

2. Naive Bayes метод (nbc)

2. 1R алгоритм

1R- алгоритм є дуже простим для машинного навчання і несподівано ефективний на стандартних наборах даних, які зазвичай використовуються для оцінки. У цій лабораторній роботі описується метод і розглядаються дві області, які можуть бути покращені: спосіб формування інтервалів при дискретизації неперервно-значних атрибутів,і спосіб розгляду пропущених значень. Потім показується, як алгоритм може бути розширений, щоб уникнути широко розповсюдженої проблеми для більшості практичних алгоритмів машинного навчання — у них досить часто незалежний атрибут розпізнається як малозначимий, коли насправді він суттєво впливає на результат у поєднанні з іншими атрибутами.

У багатьох публікаціях демонструються недоліки наборів даних, що використовуються для тестування алгоритмів машинного навчання, Роберт Хольт з Оттавського університету описав дуже простий алгоритм навчання, який він назвав 1R, що конкурує з сучасними методиками у даній сфері. Хольт не заохочував використання алгоритму 1R як суперника найпоширенішим алгоритмам навчання, а швидше для того, щоб продемонструвати, що більшість наборів даних, які використовували дослідники для перевірки своїх алгоритмів не включають дуже складних правил. Хольт продовжував обговорювати питання про реальні дані, що містять комплексні відношення. Посилаючись на деякі документальні джерела, він уклав з дослідниками домовленість використовувати методологію «Простота перш за все» у машинному навчанні. Тут надається вдосконалення базового алгоритму, а саме дискретизація атрибутів з неперервними значеннями. У наступних розділах описана реалізація алгоритму, вдосконалення зроблені, щоб уникнути надмірної вибірковості, і деякі попередні експериментальні результати, які показують, що зміни дійсно є корисними.