28 Марта 2013 г.

Методы построения математических функций.

Методы для правил и деревьев решений работают наиболее естественно с категориальными переменными. Их можно адаптировать для работы с числовыми переменными. Однако существуют методы наиболее естественно работающие с ними.

При построении мат. функции классификации или регрессии, основная задача сводиться к выбору наилучшей функции из всего множества вариантов. Это связанно с тем, что может существовать множество функций одинаково классифицирующих одну и туже обучающую выборку. Данная проблема может быть проиллюстрирована рисунком.

 

 

Вариант линейного разделения обучающей выборки.

Каждая из трех линий успешно разделяет все точки на два класса (кружки и квадраты), однако модель должна быть представлена одной функцией, которая решит наилучшим образом задачу для новых объектов.

Различают два вида функций: линейные и не линейные. В первом случае функция множества f имеет вид y=w₀+w₁x₁+w₂x₂+…+w_nx_n=w₀+ , где w- коэффициенты при независимых переменных. Задача заключается в отыскании таких коэффициентов w, чтобы удовлетворить следующему условию. Min R(f)= , где F множество всех возможных функций, с(y_i,f(x_i)) функция потерь, в которой f(x_i) значение зависимой переменной, найденное с помощью функции f для вектора x_j, а y_i ее точное известное значение. Следует отметить, что функция потерь принимает неотрицательные значения – это означает, что невозможно получить «вознаграждение» за очень хорошее предсказание. Если все таки принимает отрицательно значение, то это легко исправить введя положительны сдвиг (возможно зависимый от x). Таким же простым средством можно добиться нулевых потерь при абсолютно точном предсказании f(x)=y. Преимущество подобного ограничения функции потерь заключается в том, что всегда известен минимум и известно, что он достижим, по крайней мере для данной пары x,y.

Для задачи классификации и регрессии такие функции имеют разный вид. Так в случае бинарной классификации, принадлежности объекта к одному из двух классов (да или нет) простейшая функция потерь принимает значения «1» в случае неправильного предсказания, и значение «0», в противном.

C(x,y,f(x))= .

Здесь не учитывается ни тип ошибки (плюс не минус) ни ее величина. Небольшое изменение позволяет учесть характер ошибки.

C(x,y,f(x))= .

Здесь может учитывать многие параметры классифицируемого объекта и характер ошибки. Ситуация усложняется в случаи классификации с кол-вом классов более двух. Каждый тип ошибки классификации в общем случае вносит свой тип потерь таким образом, что получается матрица размером k на k, где k - число классов. При оценки величин принимающих вещественные значения целесообразно использовать разность f(x)-y для оценки качества классификации. Эта разность в случае регрессии имеет вполне определенный смысл (например, размер финансовых потерь при не правильной оценки стоимости финансового инструмента на рынке ценных бумаг). Учитывая условие независимость от положения функция потерь будет иметь вид с(x,y,f(x))=c^,(f(x)-y). Чаще всего применяется минимизация квадратов разностей f(x)-y. Этот вариант соответствует наличию аддитивного нормально распределенного шума, влияющего на результаты y_i. И соответствующем образом минимизируется квадрат потерь.