Applied regression analysis / Шаблон статьи / krasotkina_02

\documentclass[twoside]{article}
\usepackage{iip9}
%\NOREVIEWERNOTES

\begin{document}
\title
    [Исследование модели порядковой регрессии с регулируемой селективностью в задаче оценивания позиции сайта в результатах поискового запроса]
    {Исследование модели порядковой регрессии с регулируемой селективностью в задаче оценивания позиции сайта в результатах поискового запроса}
\author
    {Красоткина~О.\,В., Нгуен~Т.\,Ч., Поленова~Е.\,А., Моттль~В.\,В.} % основной список авторов, выводимый в оглавление
    [Красоткина~О.\,В.$^1$, Нгуен~Т.\,Ч.$^1$, Поленова~Е.\,А.$^1$ Моттль~В.\,В.$^2$] % список авторов, выводимый в заголовок; не нужен, если он не отличается от основного
\thanks
    {Работа выполнена при финансовой поддержке РФФИ, проект \No\,11-07-00634, 10-07-00489, 11-07-00409.}
\email
    {krasotkina@tsu.tula.ru, nguyentrongtinh7512@yahoo.com.vn, polenova.elena@list.ru, vmottl@yandex.ru }
\organization
    {$^1$Тула, Тульский государственный университет; $^2$Москва, Вычислительный центр РАН}
\abstract
    {В работе рассматривается задача построения модели регрессии с регулируемой селективностью в приложении к задаче оценивания порядка сайта в результате поискового запроса, основными особенностями которой являются  малый объем обучающего множества, ранговая природа целевой переменной и богатое признаковой описание. Для оценки параметров регрессионной модели предлагается использовать байесовский подход, в котором критерий максимального правдоподобия строится на основании иерархической  модели генеральной совокупности. Предложенный критерий обладает способностью подавлять факторы, несущественные для решаемой задачи, оставляя в модели факторы, являющиеся значимыми для позиции сайта в рамках данного поискового запроса.   Корректность полученной модели подтверждается экспериментами на модельных и реальных данных.}
\maketitle

\section{Введение}

 Сегодня основным инструментом доступа к информации в интернете являются поисковые системы, которые принимая запрос пользователя, возвращают упорядоченный список  web-страниц, содержащих необходимую для пользователя информацию. Каждая поисковая система имеет свой собственный очень сложный и постоянно совершенствующийся алгоритм ранжирования, который является ее коммерческой тайной. Очевидно, что чем выше находится сайт в рейтинге поисковой системы по определенным запросам, тем больше посетителей будет у ресурса и, конечно, любой владелец сайта стремится, чтобы его ресурс занимал как можно более высокие позиции в выдаче поисковиков.   Работа над содержимым сайта с целью повышения его рейтинга в результатах поискового запроса называется его продвиженим. Специалисты по продвижению сайтов в процессе работы сталкиваются  с тремя основными проблемами. Во-первых, современные алгоритмы ранжирования зависят не только от наполнения веб-станиц, но и от поискового запроса, поэтому зачастую методика продвижения, сработавшая с одним ресурсом, может не дать результата с другим. Во-вторых, так как процесс индексирования сайтов  поисковой системой осуществляется с некоторой периодичностью, то до момента очередной индексации специалист  не может видеть, как его усилия по продвижению повлияли на позицию сайта. Во-третьих, среди огромного количества признаков, характеризующих пару запрос-документ, необходимо выбрать такие, изменение которых способно повлиять на позицию сайта максимальным образом.  Целью данной работы является разработка математического аппарата, который позволит создать инструмент, позволяющий восстанавливать формулу ранжирования поисковой системы для конкретного поискового запроса и определять факторы наиболее влияющие на положение сайта в поисковой выдаче. 

В литературе задача восстановления ранжирующей формулы поисковой машины исследовалась довольно глубоко.  Все известные подходы к этой задаче делятся на два класса: методы,  основанные на совместном  анализе результатов нескольких запросов, так называемые списковые методы  (list-wise methods) и методы, основанные на анализе пар объектов  (pairwise methods). Методы первой группы \cite{Cao2007}, \cite{Burges2005}, как правило, демонстрируют низкое качество при попытке применять их для конкретных запросов.  Фактически, они пытаются воспроизвести полный алгоритм ранжирования поисковой машины, что благодаря постоянному совершенствованию поисковых алгоритмов  оказывается сделать все сложнее. Кроме того, списковые методы не позволяют оценить какие именно признаки важны для ранжирования сайтов в рамках конкретного поискового запроса. Алгоритмы, анализирующие пары объектов, основаны на переходе из признакового пространства представления объектов в пространство, образованного парами объектов, и применении в данном пространстве существующих методов машинного обучения, таких как, например, метод опорных векторов \cite{Cao2006}, \cite{2002Joachims}.  Однако, несмотря на очевидные преимущества этих методов, они  практически бесполезны в задаче поискового продвижения сайтов, так как не обладают способностью указывать характеристики сайтов, релевантные для конкретного запроса, и имеют низкую обобщающую способность в случае малых выборок. В последнее время в литературе делаются попытки ввести в методы оценивания ранговой регрессии некоторую регуляризацию, например, используя известную методику штрафных функций LASSO \cite{Lai2012}. Слабые стороны этого похода обусловлены недостатками самого штрафного критерия LASSO: подавлением коррелированных регрессоров в итоговой модели и склонностью к излишнему отбраковыванию признаков.

 В данной работе предлагается  байесовская концепция восстановления регрессионной зависимости в случае, когда выходная переменная представлена в порядковой шкале. Основная идея байесовской концепции обучения заключается в использовании параметрического семейства априорных распределения объектов в линейном пространстве признаков вместе с априорными распределениями параметров решающей функции приводит к эффекту селективности  признаков. В роли параметра семейства априорных распределений выступает неотрицательная переменная, названная параметром селективности обучения.  

 \section{Квази-вероятностная модель регрессионной зависимости для случая преставления целевой переменной в порядковой шкале}
В данной работе предлагается вероятностная модель генеральной совокупности, на основании которой из байесовского подхода к задаче обучения естественным образом вытекает концепция метода опорных векторов для случая зависимой переменной, представленной в порядковой шкале. Модель была названа квази-вероятностной поскольку она основана на так называемых
несобственных плотностях распределения \cite{Degroot1974}.
Пусть есть векторное пространство $\mathbb{X}$  с векторами признаками $\vec{x}=\{x_{i}\}_{i=1}^n$, принадлежащими этому пространству. В качестве модели генеральной совокупности будем рассматривать параметрическое семейство распределений $\phi(\vec{x'}, \vec{x''} \cond {\vec{a}, C})$  определенное на парах объектов и связанное с направлением $\vec{a}$ в пространстве $\vec{X}$, определяющим отношение порядка для любой пары объектов
\begin{multline}
\label{eq:phi}
\varphi \left( {{\bf{x'}},{\bf{x''}}|{\bf{a}, C}} \right) = \\
\left\{ \begin{array}{l}
1,\;\;{{\bf{a}}^T}({\bf{x'}} - {\bf{x''}}) <  - 1\\
\exp \left[- { {{{C\bf{a}}^T}}\;({\bf{x'}} - {\bf{x''}})} \right],\;{{\bf{a}}^T}({\bf{x'}} - {\bf{x''}}) \ge  - 1
\end{array} \right.
\end{multline}
Это семейство призвано выражать предположение о том, что случайные векторы признаков объектов главным образом распределены в соответствии с отношением порядка, но
могут и нарушать порядок, причем степенью возможности подобного нарушения управляет параметр $C$. Будем далее предполагать, что в распоряжении наблюдателя имеется обучающая совокупность $X = \{\vec{x_j}\}_{j=1}^N$ образованная независимыми векторами $\vec{x}_j$, с определенным над ними отношением порядка $(\vec{x}_j \prec \vec{x}_{k})$ для $k>j$, $j,k = 1\dots N$. 
Тогда условное распределение обучающей совокупности представимо в виде произведения плотностей для отдельных пар переменных. При 
том возможны две стратегии обучения полная и сокращенная. При полной стратегии в условном распределении обучающей совокупности участвуют все пары объектов
\[\Phi\left( {{{\bf{x}}_j},j = 1..N|{\bf{a}},c} \right) = \prod\limits_{j = 1}^N {\prod\limits_{k = j + 1}^N {\varphi \left( {{{\bf{x}}_j},{{\bf{x}}_{k }}|{\bf{a}},c} \right)} }, \]
, а при сокращенной только пары, представляющие соседние объекты
\[\Phi \left( {{{\bf{x}}_j},j = 1..N|{\bf{a}},c} \right) = \prod\limits_{j = 2}^N {\varphi \left( {{{\bf{x}}_j},{{\bf{x}}_{j + 1}}|{\bf{a}},c} \right)}. \]
  Другим ключевым предположением в предлагаемой вероятностной модели является суждение об априорном распределении $\psi({a_i})$ компонент направляющего вектора $\vec{a}$. 
\[
    \psi(a_{i}\cond r_{i},\rho)\varpropto\Big(r_{i}\rho\Big)^{-1/2} \exp\big(-a_{i}^{2}/(2\rho r_{i})\big).
\]

Кроме того, будем предполагать, что  величины обратные дисперсиям имеют априорное гамма-распределение
\[
    \gamma\big((1/r_{i})\cond \alpha,\theta\big)\varpropto (1/r_{i}^{\alpha-1})\exp\big(-\theta(1/r_{i})\big).
\]

Тогда, совместная априорная плотности распределения дисперсий $1/r_{i}$ примет вид
\[
    G(1/r_{1},\dots ,1/r_{p}\cond \alpha,\theta)\varpropto\Big(\tprod_{i=1}^{p}(1/r_{i}^{\alpha-1})\exp\big(-\theta(1/r_{i})\Big).
\]
Для наделения критерия свойством отбрасывания нерелевантных признаков, выберем параметры гамма распределения следующим образом $\alpha=1+1/(2\mu), \theta=1/(2\mu)$. Структурный параметр $\mu$ будем называть параметром селективности, а полученную в итоге иерархическую модель - моделью порядковой регрессии с управляемой селективностью. Если $\mu\to 0$, то априорные случайные значения дисперсий $1/r_{i}$ будут одинаковыми $1/r_{1}\cong...1/r_{n}\cong1$, а при увеличении $\mu$, независимые положительные величины   $1/r_{1}\cong...1/r_{n}\cong1$ могут существенно различаться, так как $\Var(1/r_{i})$ увеличивается быстрее, чем $\Expect(1/r_{i})$. 
Принцип максимизации совместной апостериорной плотности
\begin{multline*}
    \Prob(\vec{a},\textbf{r}\cond X,c,\rho,\mu)\varpropto 
     \Phi(X,\vec{a}, c)\times {}\\
    {}\times \Psi(\vec{a}\cond \textbf{r},\rho)\times G(\textbf{r}\cond \mu)
\end{multline*}
в случае сокращенной стратегии обучения приводит к следующему критерию

\[\begin{array}{l}
\sum\limits_{i = 1}^n {\frac{{a_i^2}}{{{r_i}}}}  + {C}\sum\limits_{i = 1}^{N - 1} {{\delta _i}}  + \frac{{\mu  + 1}}{\mu }\sum\limits_{i = 1}^n {\ln {r_i}}  + \frac{1}{\mu }\sum\limits_{i = 1}^n {{1 \mathord{\left/
 {\vphantom {1 {{r_i}}}} \right.
 \kern-\nulldelimiterspace} {{r_i}}}}  \to \mathop {\min }\limits_{{\bf{a}},{\bf{r}},\delta } \\
{{\bf{a}}^T}{{\bf{x}}_{j + 1}} - {{\bf{a}}^T}{{\bf{x}}_j} + {\delta _j} \ge 1\\
{\delta _j} \ge 0,j = 1,...N
\end{array}\]

В случае полной стратегии критерий оказывается полностью аналогичным.

\section{Процедура оценивания параметров модели  порядковой регрессии с регулируемой селективностью}
Будем минимизировать данный критерий методом Гаусса-Зайделя по двум группам переменных $(\vec{a},\textbf{r})$. Пусть $\big(\boldsymbol{a}^{(k)},\vec r^{(k)}\big)$~--- очередное приближение к точке минимума. Следующее значение вектора дисперсий можно получить, приравняв к нулю частные производные критерия максимального правдоподобия по каждой компоненте вектора 

\[{r_i}^{\left( {k + 1} \right)} = \frac{1}{{\mu  + 1}}\left[ {\mu {{\left( {a_i^{\left( k \right)}} \right)}^2} + 1} \right]\]
Для получения очередного значения вектора коэффициентов $\vec{a}^{(k+1)}$ необходимо найти минимум критерия максимального правдоподобия по этой переменной  в предположении, что вектор дисперсий фиксирован.

Введем обозначения ${\tilde a_i} = {{{a_i}} \mathord{\left/
 {\vphantom {{{a_i}} {\sqrt {r_i^{\left( k \right)}} }}} \right.
 } {\sqrt {r_i^{\left( k \right)}} }}$, ${\tilde x_{j,i}} = \sqrt {r_i^{\left( k \right)}} {x_{j,i}}$, $j = 1,...,N$. При сделанных обозначениях критерий для нахождения очередного приближения направляющего вектора будет иметь вид

\[\begin{array}{l}
\frac{c}{2}{{\tilde a}^T}\tilde a + \sum\limits_{j = 1}^{N - 1} {{\delta _j} \to \mathop {\min }\limits_{\tilde a,\delta } } \\
{{{\bf{\tilde a}}}^T}({{{\bf{\tilde x}}}_{j + 1}} - {{{\bf{\tilde x}}}_j}) + {\delta _j} \ge 1\\
{\delta _j} \ge 0,j = 1,...,N - 1
\end{array}\]

Для его оптимизации удобнее перейти к двойственной форме задачи, записанной относительно множителей Лагранжа
\[\left\{ \begin{array}{l}
\frac{1}{2}{\lambda ^{\rm T}}{\rm H}\lambda  + {f^{\rm T}}\lambda  \to \mathop {\min }\limits_\lambda  \\
0 \le {\lambda _j} \le C,j = 1,...,N - 1,
\end{array} \right.\]
где $H = \left\{ {{h_{l,j}} = \sum\limits_{k = 1}^n {{{({{{\bf{\tilde x}}}_k} - {{{\bf{\tilde x}}}_l})}^T}({{{\bf{\tilde x}}}_k} - {{{\bf{\tilde x}}}_j})} } \right\}_{l,j = 1}^N$, $f = \left\{ { - \frac{1}{C}} \right\}_{i = 1}^n$. 
 Этот критерий широко известен в литературе и может быть эффективно оптимизирован с помощью процедуры, преложенной в \cite{Chu2005}. После решения двойственной задачи, искомый направляющий вектор вожет быть получен как \[{\bf{\tilde a}} = C\sum\limits_{j = 1}^{N - 1} {{\lambda _j}\left( {{{{\bf{\tilde x}}}_{j + 1}} - {{{\bf{\tilde x}}}_j}} \right)}. \]
При этом, как и в методе опорных векторов, лишь часть множителей Лагранжа будет отлична от 0, а соответствующие им пары объектов будут являться опорными парами. 
Для подбора значения структурных гиперпараметров $\mu$ и $\rho$  воспользуемся критерием скользящего контроля. При этом выбираются такие значения структурных параметров, которые  будут  минимизировать ошибку определения порядка по выброшенным наблюдениям.

\section{Экспериментальное исследование}

В ходе экспериментального исследования мы исследовали поведение модели порядковой регрессии с регулируемой селективностью на тестовых и модельных данных

\paragraph{Экспериментальное исследование на модельных данных}
Исследование качества работы алгоритма проводилось на тестовых данных, полученных в соответствии с моделью линейной регрессии.  Все признаки  распределены по нормальному закону  с нулевым математическим ожиданием и единичной дисперсией $x_{i,j}\sim N(0,1)$.   Присутствущие в модели коэффициенты регрессии также генерировались в соотвествии с нормальным законом распределения. Для каждого объекта находим значение зашумленной линейно комбинации признаков с коэффициентами регрессии ${y_j} = \sum\limits_{i = 1}^n {{x_{i,j}}{a_i}}  + k{\xi _j}$, где $k$ - коэффициент, регулирующий соотношении дисперсии шума и дисперсии незашумленной линейной комбинации, варьировавшийся в диапазоне от 5\% до 20\%. Затем объекты упорядочивались по возрастанию значений $y_j$, $j=1,...,N$ и в таком порядке подавались на вход алгоритма.  Все эксперименты выполнялись на обучающей выборке из 20 объектов, контрольная совокупность составляла 980 объектов. В ходе экспериментов варьировалось общее  число признаков, измеренных на объектах 100 и 500. Таким образом, в выборке число признаков значительно превосходит число наблюдений. Причем, в скрытой модели только два признака являлись релевантными. Это фактически означает, что только 2 коэффициента регрессии отличны от 0, а остальные являются нулевыми, что исключает соответствующие признаки модели. На контрольной выборке оценивалась ошибка восстановления коэффициентов ${E_1} = {{\sum\limits_{i = 1}^n {{{\left( {{a_i} - {{\hat a}_i}} \right)}^2}} } \mathord{\left/
 {\vphantom {{\sum\limits_{i = 1}^n {{{\left( {{a_i} - {{\hat a}_i}} \right)}^2}} } {\sum\limits_{i = 1}^n {a_i^2} }}} \right.
 \kern-\nulldelimiterspace} {\sum\limits_{i = 1}^n {a_i^2} }}$, средняя абсолютная ошибка восстановления ранга ${E_2} = \frac{1}{N}\sum\limits_{i = 1}^N {\left| {rank({y_i}) - rank({{\hat y}_i})} \right|} $ и относительная ошибка нарушения порядка ${E_3} = {{\sum\limits_{i = 1}^N {[rank\left( {{y_i}} \right) \ne rank\left( {{{\hat y}_i}} \right)]} } \mathord{\left/
 {\vphantom {{\sum\limits_{i = 1}^N {[rank\left( {{y_i}} \right) \ne rank\left( {{{\hat y}_i}} \right)]} } N}} \right.
 \kern-\nulldelimiterspace} N}$ В таблице 1 и 2 приведены усредненные по 20 экспериментам значения ошибки для полной и сокращенной стратегий обучения для уровня дисперсии шума в модели 10\%.

\begin{table}[t]
    \caption{Показатели ошибок при полной стратегии обучения на модельных данных}
\label{Tab1}
    \centering\medskip%\tabcolsep=2pt%\small
\begin{tabular}{|r|r|l|l|l|l|}
\hline
 $n$  &$E_1$ & $E_2$ & $E_2$ \\
\hline
$100 $ &$0.214$ & $0.1123±0.1247 $ & $0.0871±0.1004$\\
\hline
$500 $ &$0.068$ & $1.0412±1.2145 $ & $0.1988±0.232$\\

\hline
\end{tabular}
\end{table}
\begin{table}[t]
    \caption{Показатели ошибок при сокращенной стратегии обучения на модельных данных}
\label{Tab2}
    \centering\medskip%\tabcolsep=2pt%\small
\begin{tabular}{|r|r|l|l|l|l|}
\hline
 $n$  &$E_1$ & $E_2$ & $E_2$ \\
\hline
$100 $ &$0.115$ & $0.1150±0.1419 $ & $0.0875±0.1006$\\
\hline
$500 $ &$0.055$ & $1.0850±1.3527 $ & $0.2000±0.2488$\\

\hline
\end{tabular}
\end{table}

Модельные эксперимент показывают, что сокращенная модель демонстрирует качество вполне сравнимое с полной моделью, но оказывается гораздо более простой вычвычислительно.
\paragraph{Экспериментальное исследование на реальных данных}
Данные были собраны для следующих запросов: 'шиномонтажное оборудование' (Data Set1), 'охранные предприятия' (Data Set2), 'термопринтеры' (Data Set3),	'мдф панели'  (Data Set4). Для каждого запроса были выбраны 25 первых в рейтинге сайтов. Для каждой пары 'запрос-документ' было подсчитаны значения 35 признаков, которые делятся на 2 группы: числовые (тематический индекс цитирования, PageRank, количество страниц в индексе, возраст домена и т.д) и бинарные (соответствие тематики запроса тематике страницы, наличие ключевой леммы в заголовке страницы, присутствие в Яндекс-каталоге и т.д.). Таким образом, общее число признаков больше числа объектов. Бинарные данные были трансформированы в числовые, матрица данных перед обработкой была стандартизована. 
в экспериментах использовалась сокращенная стратегия обучения. В таблице 1 приведены значения ошибок на скользящем контроле. 

\begin{table}[t]
    \caption{Показатели ошибок при сокращенной стратегии обучения на реальных данных}
\label{Tab3}
    \centering\medskip%\tabcolsep=2pt%\small
\begin{tabular}{|r|r|l|l|l|l|}
\hline
   & $E_2$ & $E_2$ \\
\hline
$DataSet1 $ & $1.15 $ & $0.88$\\
\hline
$DataSet2 $ & $1.4 $ & $0.9$\\
\hline
$DataSet3 $ & $ 1 $ & $0.9$\\
\hline
$DataSet4 $ & $1.3 $ & $0.85$\\
\hline

\end{tabular}
\end{table}

Наибольшее влияние на позиции при ранжировании запроса 'шиномонтажное оборудование' вносят признаки: наличие в Яндекс каталоге, вхождение первого слова из запроса 'шиномонтажное', вхождение в h1 первого слова запроса 'шиномонтажное', вхождение в title страницы второго слова запроса 'оборудование'. Наибольшее влияние на позиции при ранжировании запроса 'охранные предприятия' вносят признаки: возраст домена, точное вхождение запроса в заголовок h1, вхождение  морфологии запроса в title страницы. Наибольшее влияние на позиции при ранжировании запроса 'термопринтеры' вносят признаки: наличие регистрации сайта в Яндекс каталоге, точное вхождение запроса в текст, количество внешних ссылок на домен. Наибольшее влияние на позиции при ранжировании запроса 'мдф панели' вносят признаки: вхождение запроса точно, вхождение первого слова из запроса 'мдф', вхождение запроса в заголовок h1.
\section{Заключение}
В статье рассматривается модель порядковой регрессии для задачи восстановления ранжирования сайтов в рамках конкретного поискового запроса. Предложены две стратегии обучения полная, опирающаяся на информацию об упорядоченности всех объектов обучающей выборки и сокращенная, использующая информацию только о соседних в рамках порядковой шкалы объектах. предложенная модель не только позволяет восстанавливать целевую переменную, представленную в порядковой шкале,но и позволяет отбирать признаки сайтов, которые с наибольшим весом влияют на их позицию в запросе.  Достоинством метода является то, что он позволяет отбросить неинформативные признаки, не используя переборные стратегии, непосредственно в процессе восстановления искомой регрессионной зависимости.

\begin{thebibliography}{1}
\bibitem{Burges2005}
    \BibAuthor{C.J.C. Burges at all}
    \BibTitle{”Learning to rank using gradient descent}~//
   Proc. International Conference on Machine Learning (
ICML ’05),  Pp.\,89-96.
\bibitem{Cao2007}
    \BibAuthor{Z. Cao, T. Qin, T.Y. Liu, M.F. Tsai, and H. Li}
    \BibTitle{Learning to rank: from pairwise approach to listwise approach}~//
     Proc. International Conference on Machine Learning(ICML ’07), pp.\,129-
136, 2007.
\bibitem{2002Joachims}
    \BibAuthor{T. Joachims}
    \BibTitle{ ”Optimizing search engines using clickthrough data,”}~//
   Proc. ACM Conference on Knowledge Discovery and Data Mining(KDD ’02), pp.\,133-142, 2002
\bibitem{Cao2006}
    \BibAuthor{Z. Cao, J. Xu, T.-Y. Liu, H. Li, Y. Huang, and H.-W. Hon}
    \BibTitle{Adapting ranking SVM to document retrieval}~//
     Proc. of the 29th Int. Conference on Research and Development in Information Retrieval. ACM, NY, USA, pp.\,186--193
\bibitem{Lai2012}
    \BibAuthor{Hanjiang Lai, Yan Pan, Cong Liu, Liang Lin, Jie Wu}
    \BibTitle{Sparse Learning-to-Rank via an Efficient Primal-Dual Algorithm}~//
    IEEE Transactions on Computers, vol. 99, no. PrePrints, Feb , 2012
\bibitem{Degroot1974}
    \BibAuthor{Де Гроот М.}
    \BibTitle{Оптимальные статистические решения.}~// Москва: Мир, 1974.
\bibitem{Chu2005}
    \BibAuthor{Wei Chu and S. Sathiya Keerthi}
    \BibTitle{New approaches to support vector ordinal regression}~// Proc. of the 22 Int. Conference on Machine learning (ICML '05). ACM, New York, USA, pp.\,145-152.

\end{thebibliography}

% Решение Программного Комитета:
%\ACCEPTNOTE
%\AMENDNOTE
%\REJECTNOTE
\end{document}