Оценка эффективности и сравнение моделей: Lift и Profit-кривые, roc-анализ
ROC-анализ основан на использовании ROC-кривой (Receiver Operator Characteristic), которая показывает результаты бинарной классификации, когда модель предсказывает вероятность того, что наблюдение относится к одному из двух классов. В таком случае важен выбор точки отсечения, то есть порога отсечения, разделяющего классы. ROC-кривая позволяет построить зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров.
Выбирая точку отсечения (cut-off value), можно управлять вероятностью правильного распознавания положительных и отрицательных примеров. При уменьшении порога отсечения увеличивается вероятность ошибочного распознавания положительных наблюдений (ложноположительных исходов), а при увеличении возрастает вероятность неправильного распознавания отрицательных наблюдений (ложноотрицательных исходов). Необходимо подобрать такое значение точки отсечения, которое дает наибольшую точность распознавания класса, определённого постановкой задачи.
В анализе данных ROC-кривые применяют при решении задач классификации для определения порога отсечения.
