1.1.5 Бустинг
Для решения проблемы данного, столь сложного обучения существует технология бустинга.
Бустинг — комплекс методов, способствующих повышению точности аналитических моделей. Эффективная модель, допускающая мало ошибок классификации, называется «сильной». «Слабая» же, напротив, не позволяет надежно разделять классы или давать точные предсказания, делает в работе большое количество ошибок. Поэтому бустинг (от англ. boosting – повышение, усиление, улучшение) означает дословно «усиление» «слабых» моделей – это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов.
Каскадная модель сильных классификаторов
Объединение сильных классификаторов в каскадную модель. При объединении слабых анизотропных классификаторов в один большой сильный классификатор детектирующая способность повышается, но при этом повышается и время принятия решения. В некоторых случаях время, помимо качества распознавания, является ключевым фактором. Для этого случая предлагается построить каскадную модель из небольших сильных классификаторов, позволяющую повысить скорость детектирования, не ухудшая качество.
Каскадная модель сильных классификаторов – это дерево принятия решений, где каждый узел дерева построен таким образом, чтобы детектировать почти все интересующие образы и отклонять некоторую часть регионов, не являющуюся образами. Помимо этого, узлы дерева размещены таким образом, что чем ближе узел находится к корню дерева, тем из меньшего количества анизотропных гауссовых примитивов он состоит и тем самым требует меньшего времени на принятие решения. Данный вид каскадной модели хорошо подходит для обработки изображений, на которых общее количество детектируемых образов мало. В этом случае метод может быстрее принять решение о том, что данный регион не содержит образ, и перейти к следующему. Пример каскадной модели показан на рисунке 5:
Рисунок 5 – Каскад модели сильных классификаторов
Сложность обучения таких каскадов равна О(xyz), где применяется x этапов, y примеров и z признаков.
Далее, каскад применяется к изображению:
работа с «простыми» классификаторами – при этом отбрасывается часть «отрицательных» окон;
положительное значение первого классификатора запускает второй, более приспособленный и так далее;
отрицательное значение классификатора на любом этапе приводит к немедленному переходу к следующему сканирующему окну, старое окно отбрасывается;
цепочка классификаторов становится более сложной, поэтому ошибок становится намного меньше.
Для тренировки такого каскада потребуются следующие действия:
задаются значения уровня ошибок для каждого этапа (предварительно их надо количественно просмотреть при применении к изображению из обучающего набора) – они называются detection и false positive rates – надо чтобы уровень detection был высок, а уровень false positive rates низок;
добавляются признаки до тех пор, пока параметры вычисляемого этапа не достигнут поставленного уровня, тут возможны такие вспомогательные этапы, как:
тестирование дополнительного маленького тренировочного набора;
порог AdaBoost умышленно понижается с целью найти больше объектов, но в связи с этим возможно большее число неточных определений объектов;
если false positive rates остается высоким, то добавляется следующий этап или слой;
ложные обнаружения в текущем этапе используются как отрицательные уже на следующем слое или этапе.