магистерская диссертация / ВКРМ

Высокое значение меры означает выраженную «диапазонную» структуру, для

которой троичное разбиение наиболее естественно.

3.2 Контролируемая проверка на синтетических данных

Использованы три синтетических набора по 5000 объектов с 8 признаками:

диапазонная регрессия и диапазонная классификация (немонотонная

«коробочная» структура – целевая зависит от попадания признака в среднюю зону) и монотонная регрессия как контроль. Диапазонной структурой называем ту, для описания которой троичное разбиение использует один узел, тогда как бинарному нужны два уровня дерева.

3.2.1 Качество прогнозирования при фиксированной глубине

При фиксированной глубине 6 (рисунок 3.1, таблицы 3.2–3.3) троичное и адаптивное ветвление не превосходят бинарное: на диапазонной регрессии их

RMSE заметно хуже. Причина – избыточная ёмкость троичного дерева при большой глубине (до 3 листьев против 2 ) и, как следствие, переобучение. На классификации все три режима показывают идентичное качество.

Рисунок 3.1 – Качество по режимам ветвления при глубине 6

76

Таблица 3.2 – Качество на задачах регрессии (синтетика, среднее ± СКО)

Таблица 3.3 – Качество на задаче классификации (синтетика, среднее ± СКО)

3.2.2 Сложность модели

Сравнение сложности (рисунок 3.2, таблица 3.4) выявляет двойственность:

при равной глубине число листьев у троичного режима в 6–7 раз больше

(избыточная ёмкость), однако на классификации троичное строит заметно более мелкие деревья – средняя глубина 4,3 против 5,4, то есть на ~20% меньше при том же качестве. Компактность троичного режима проявляется именно по глубине.

Рисунок 3.2 – Сложность модели по режимам ветвления

77

Таблица 3.4 – Сложность модели и вычислительные затраты (синтетика)

3.2.3 Зависимость качества от глубины дерева

Свёртка по глубине (рисунок 3.3) раскрывает механизм: на диапазонной регрессии при малой глубине (2–3) троичное и адаптивное ветвление существенно превосходят бинарное, а с ростом глубины бинарное догоняет и обгоняет, тогда как троичное переобучается. Рабочая зона троичного режима именно малая глубина.

Рисунок 3.3 – Зависимость качества от максимальной глубины дерева

3.2.4 Глубина, необходимая для достижения заданного качества

Прямая числовая оценка компактности проиллюстрирована на рисунке 3.4

и в таблице 3.5.

78

Рисунок 3.4 – Минимальная глубина для достижения целевого качества

Таблица 3.5 – Глубина для достижения качества в пределах 5% от лучшего

Минимальная глубина, при которой режим достигает качества в пределах

5% от лучшего: на диапазонной регрессии бинарному нужна глубина 4, а

троичному и адаптивному – 3 (экономия около 25%); на монотонной – 3 против

2.

3.2.5 Влияние регуляризации

Переобучение троичного режима на большой глубине управляемо регуляризацией, что видно на рисунке 3.5 и таблице 3.6.

На диапазонной регрессии при глубине 6 RMSE троичного снижается с

0.520 (без регуляризации) до 0.446 при подборе λ и до 0.449 при подборе γ, тогда как бинарное держится на 0.413. Регуляризация устраняет около 69% разрыва,

что подтверждает ёмкостную природу эффекта.

79

Рисунок 3.5 – Влияние регуляризации (λ и γ) на качество троичного режима Таблица 3.6 – Восстановление качества троичного режима регуляризацией

(RMSE)

3.3 Проверка на реальных данных

Исследование проведено на 19 реальных наборах данных (UCI/OpenML) –

регрессия и классификация, разные домены и объёмы. Поскольку сравнение при единых для всех моделей гиперпараметрах некорректно, т.к. фиксированная конфигурация неизбежно подыгрывает одной из моделей, то был применён индивидуальный подбор гиперпараметров для каждой модели методом случайного поиска со вложенной валидацией.

3.3.1 Рейтинг моделей при индивидуальном подборе гиперпараметров

При честном подборе троичное и адаптивное ветвление по качеству статистически неотличимы от бинарного, как видно по критерию Уилкоксона: p = 0.374 для троичного и p = 0.845 для адаптивного (таблица 3.7). То есть ранее наблюдавшееся отставание было артефактом единой конфигурации. Внешние

80

библиотеки опережают по точности, что ожидаемо для зрелых промышленных инструментов; механизм ветвления ортогонален им и может быть в них встроен.

Рисунок 3.6 – Диаграмма критических различий

Рисунок 3.7 – Итоговый рейтинг моделей по среднему рангу Таблица 3.7 – Парный критерий Уилкоксона относительно бинарного режима

81

3.3.2 Компактность при равном качестве

Ключевой результат этапа можно увидеть на рисунке 3.8.

Рисунок 3.8 – Равное качество при меньшей глубине (реальные данные, подбор гиперпараметров)

При равном качестве адаптивное ветвление строит существенно более мелкие деревья. Разница в качестве адаптивного и бинарного статистически незначима (Уилкоксон p = 0.845, средняя разница +0.11%), тогда как сокращение глубины статистически значимо (Уилкоксон p < 0.0001, мельче на 18/19 наборах;

средняя глубина листа 1.69 против 3.04). Показательно, что подбор сам выбрал для троичного/адаптивного меньшую глубину (медиана 3–4 против 5 у

бинарного).

3.4 Поиск области эффективности метода

Чтобы найти условия, в которых троичное ветвление повышает точность,

был применён формальный, заданный заранее отбор: для пула кандидатов

82

(отобранные домены + регрессионный набор OpenML-CTR23) вычислялась мера немонотонности – изотонический разрыв. Далее были отобраны топ-8 самых немонотонных наборов (таблица 3.8).

Таблица 3.8 – Наборы данных с наибольшей немонотонностью

На них модели сравнивались при ограниченной глубине (2, 3 и 5). Согласно выводам, сделанным по эксперименту с синтетическими данными, именно при дефиците глубины троичный узел заменяет целый уровень дерева.

3.4.1 Преимущество по точности в зависимости от глубины

Результат (рисунок 3.9, таблица 3.9) подтверждает гипотезу: при глубине

2 троичное и адаптивное ветвление значимо превосходят бинарное (средний выигрыш +6.51% и +7.02%, победа на 7/8 наборах, Уилкоксон p = 0.016). С

ростом глубины преимущество убывает (+4.04% при глубине 3) и при глубине 5

исчезает (-7.19%).

83

Рисунок 3.9 – Преимущество по точности в зависимости от глубины дерева

Таблица 3.9 – Выигрыш над бинарным режимом по глубинам на немонотонных данных

Это в точности воспроизводит механизм, предсказанный на синтетике.

3.4.2 Сравнение со всеми методами при малой глубине

При глубине 2 на немонотонных данных троичное и адаптивное ветвление занимают первые два места среди всех семи моделей, опережая XGBoost, LightGBM, CatBoost и sklearn (критерий Фридмана p = 0.0040, N = 8, CD = 3.19),

что видно на рисунке 3.10.

84

Рисунок 3.10 – Диаграмма критических различий при глубине 2 (немонотонные данные)

Это объясняется тем, что при равной малой глубине троичное разбиение даёт больше «ёмкости на уровень» – что и есть искомое преимущество в нише компактных моделей.

3.5 Проверка соответствия функциональным и нефункциональным

требованиям

Исследование проведено на шести наборах данных разной размерности – от 442 до 48 тысяч объектов (diabetes, breast_cancer, california_housing, superconductivity, bank_marketing, adult); Все семь моделей запущены с идентичными значениями ключевых гиперпараметров: число деревьев 100,

максимальная глубина 6, шаг обучения 0,1, число корзин гистограммы 64. Для корректности сравнения с однопоточным C++-ядром разработанной библиотеки во всех промышленных моделях принудительно установлен режим работы в один поток. Каждая комбинация запущена с тремя значениями зерна разбиения.

85