4.3. Оценка точности классификации примеров (с помощью алгоритма abcn2)
В данном разделе проводится тестирование реализованного алгоритма ABCN2. Тестирование проводилось также на задачах монахов.
Результат обучения серьезно зависит от заданных экспертом аргументов. В зависимости от того, насколько правильно эксперт расставит приоритеты при задании того или иного аргумента будут меняться полученные аргументированные продукционные правила, а также результат классификации в целом.
4.3.1 Результат классификации в задаче monk1(abcn2)
Рис.4.8 Набор аргументационных правил для задачи MONK1.
Рис.4.9 Результат классификации в задаче MONK1.
Эксперт тщательно аргументировал примеры, на основании сводки правил из алгоритма CN2(Пример сводки правил - Рис.3.5). То есть, анализировались самые часто встречаемые правила, полученные при работе алгоритма CN2, и на основе них эксперт отдавал предпочтение или исключал тот или иной атрибут при аргументации. Были заданы аргументы «[cX= false] потому что [x2 = 1]» и «[cX=false] потому что [x4 = x5]». С помощью задания данных аргументов удалось увеличить процент классификации на 3-5% для каждого эксперимента, что говорит о том, что аргументация позволяет исключать противоречия, возникающие в ходе обычного обучения на зашумленных выборках и более эффективно проводить классификацию новых выборок.
Ниже представлены аналогичные результаты тестирования для задачи monk3.
4.3.2 Результат классификации в задаче monk3(abcn2)
Рис.4.10 Набор аргументационных правил.
Рис.4.11 Результат классификации в задаче MONK3
Путем добавления аргументирования атрибутов [Сх= true] потому что [a5 = 3] и [Сх= true] потому что [a4 = 1] мы также смогли увеличить процент правильно классифицированных правил примерно на 5%.
4.4 Выводы
В данной главе доказана актуальность и конкурентоспособность алгоритма CN2 и ABCN2 относительно аналогичных алгоритмов обучения «с учителем». Представлен результат тестирования на известных наборах данных задач MONK1, MONK2, MONK3.
По результатам тестирования алгоритма ABCN2 можно сделать следующий вывод: применение аргументации для задачи обобщения в условиях зашумленных обучающих выборок является эффективных методом. Точность классификации при наличии шума для приведенных тестовых наборов данных удалось в среднем увеличить на и 5—7%. Такие результаты объясняются прежде всего тем, что наличие неверно классифицированных объектов в обучающих выборках приводит к формированию неверных классификационных решающих правил. Такие правила приводят к появлению противоречий, находимых и решаемых методами аргументации. Таким образом применение методов аргументации позволяет уменьшить влияние некорректных правил вывода, и приводить к увеличению точности классификации тестовых наборов данных
Заключение
В результате выполненной работы были изучены базовые модели и методы интеллектуального анализа данных, основанного на построении решающих правил, дан обзор наиболее известных алгоритмов обучения «с учителем».
Выбран алгоритм для программной реализации и исследования, позволяющий достаточно быстро формировать обобщения исходных данных и представлять их в компактной форме, удобной для восприятия и для дальнейшего использования в решении задачи распознавания. Работа выбранного алгоритма была успешно реализована и отлажена, а также протестирована с помощью специальных тестовых наборов данных из хранилища UCI Machine Learning Repository, традиционно используемых для построения решающих правил.
Таким образом, было создано приложение, позволяющее получить набор аргументированных продукционных правил для различных множеств данных, а так же проводить классификацию набора примеров.
Основные особенности рассматриваемого алгоритма следующие:
Алгоритм обеспечивает высокое качество классификации, а учет статических закономерностей позволяет ему работать с зашумленными данными.
Реализованный алгоритм позволяет эксперту отдать предпочтение тем или иным атрибутам при построении решающих правил несмотря на то, насколько точно полученные правила будут классифицировать новые примеры.
Алгоритм ABCN2 эффективнее в условиях зашумленных обучающих выборок.