10. Деревья решений

Относится к методам автоматического анализа данных. Работы над алгоритмом начались в 50-х гг а первые серьезные труды в 60-х.

Дерево решений (ДР) – это способ представления правил в иерархической последовательной структуре, где каждому объекту соответствует единственный узел дающий решение.

Понятия из теории деревьев решений: Объект – пример, шаблон, наблюдение. Атрибут - признак, независимая переменная, св-во. Метка класса – зависимая (целевая) переменная. Узел - внутренний узел дерева или узел проверки. Лист – конечный узел дерева или узел решения. Проверка – условие в узле.

Область применения деревьев решений широка, но все задачи могут быть сведены к 3 классам: 1) Описание данных 2) Классификация 3) Регрессия.

Преимуществами использования ДР является: быстрый процесс обучения, извлечение правил на естественном языке, понятная классификационная модель, высокая точность прогноза. Недостатки: способность порождать очень ветвистые деревья.

***

Общий принцип построения ДР:

Пусть нам задано некоторое обучающее множество T, содержащее объекты, каждое из которых хранится “m” атрибутами, причем 1 из них указывает на принадлежность объекта к определённому классу. Пусть через {с₁,с₂,…,с_к} обозначены классы, тогда существует 3 ситуации:

1. Множество T содержит 1 или > примеров относящихся к первому классу с_к тогда дерево решений для T это лист определяющий класс с_к.

2. Множество Т не содержит ни одного примера, тогда это снова лист и класс ассоциированный с этим листом выбираются из другого множества отличного от Т, из множества ассоциированного с родителем этого листа.

3. Множество Т содержит пример относящийся к разным классам в этом случае множество Т разбивают на подмножества. Для этого выбирают один из признаков который имеет 2 и > отличных друг от друга значений o₁, o₂, …, o_n то есть таким образом Т разбивается на Т₁, Т₂, …, Т_n, где каждое подмножество Т_i содержит все примеры имеющие значения o_i для данного признака. Данный процесс рекурсивно повторяется до тех пор пока конечное множество не будет состоять из примеров относящихся к одному и тому же классу.