4.3.1. Линейные методы

Линейные методы стали применяться для решения задач распознавания образов одними из первых (см.. Ту, Гонсалес, 1978) в середине прошлого века.

Пусть F(u₁,…,u_n)=a₁u₁ + a₂u₂ + … +a_nu_n – линейная функция n переменных u₁,…,u_n. Методы отыскания линейных решающих функций и правил принято называть линейными. Общий вид линейных решающих правил может быть задан следующим образом:

при a₁X₁(S) + a₂X₂(S) + … +a_nX_n(S)≥λ+ε объект S относится к К₁;

при a₁X₁(S) + a₂X₂(S) + … +a_nX_n(S)≤λ-ε объект S относится к К₂;

при λ-ε <a₁X₁(S) + a₂X₂(S) + … +a_nX_n(S)<λ+ε объект S не распознаётся.

Пусть , . Для проверки существования линейного решающего правила достаточно убедиться в существовании решения системы линейных неравенств для какого-либо ε>0:

,

где j=1,…,n, i=1,…,m(1), k=m(1)+1,…,m c неизвестными y₁,…,y_n (искомыми значениями коэффициентов a_j) и λ. Для проверки существования решения систем линейных неравенств используются вычислительные методы линейной алгебры; эта проверка является «не слишком сложной», а программное обеспечение содержится в общераспространённых пакетах. Если решение существует, то оно либо единственно, либо их бесконечно много.

Существуют многочисленные методы нахождения линейных решающих правил, реализующие различные дополнительные требования (типа максимизации ε, сокращения размерности описания и пр.).

Геометрическая интерпретация линейного решающего правила заключается в следующем. Пусть все признаки замерены в количественных шкалах и E_n – n-мерное евклидово пространство. Гиперплоскость a₁x₁+a₂x₂+…+a_nx_n= λ делит E_n на две части таким образом, что в каждой из них находятся точки только одного из классов. Такие гиперплоскости называются разделяющими.

Ситуация заметно усложняется, если разделяющей гиперплоскости не существует и нужно отыскать гиперплоскость, минимизирующую функционал качества распознавания. С вычислительной точки зрения эта задача является намного более сложной.

Линейные методы распознавания использовались в течение ряда лет для прогноза продуктивности локальных поднятий и уточнения границ природных резервуаров УВ в нижне -среднеюрских отложениях Западной Сибири (Каштанов, Соколов, 1976, Красавчиков, 2007).

5. Упорядочение

На практике вместо отыскания решающей функции, удовлетворяющей цепочке неравенств (1), зачастую достаточно получить «хорошую» корреляцию упорядочения по убыванию значений функции F с упорядочением на материале обучения. Это имеет принципиальное значение, поскольку решающей функции, для которой выполняются неравенства (1), в классах «простых» функций (типа линейных и т.п.) может и не существовать. Для приближённого решения этой задачи можно применять математический аппарат множественной линейной регрессии, реализованный в программном продукте Statistica for Windows.

Пусть приближённое решение F ищется в классе линейных функций,

F(u₁,u₂,…,u_n)=a₁u₁+a₂u₂+…+a_nu_n+b,

где a₁,…,a_n, b – коэффициенты при переменных и свободный член соответственно, Ψ – некоторая монотонная функция, определённая на множестве значений целевого признака (например, логарифм, см. пояснение в разделе 10). Тогда, решая задачу множественной линейной регрессии вида:

найти a₁,…, a_n, b, при которых функционал

достигает минимума,

мы получаем приближённое решение задачи упорядочения через аппроксимацию некоторой монотонной функции от целевого признака. Поскольку функция Ψ монотонна, можно, используя коэффициент Спирмена, оценить достоверность связи между решением регрессионной задачи и значениями целевого признака X_n+1. Значение r_s является естественным показателем качества приближённого решения задачи упорядочения.

Можно показать, что для отыскания точного решения F в классе линейных решающих функций достаточно решить систему m-1 нестрогих линейных неравенств c n неизвестными p₁,…,p_n:

, i=1,…,m-1, (3)

где n – число признаков, >0 – малая положительная константа. При этом, как легко видеть, разности X_j(S_i) - X_j(S_i+1)=H_ij являются известными величинами. Обратно, из существования решения системы линейных неравенств (3) вытекает существование решения системы неравенств (2). Однако, как уже отмечалось, в классе линейных решающих функций решения может и не существовать.

Программное обеспечение для решения систем нестрогих линейных неравенств отсутствует в пакете Statistica. Однако оно, в принципе, является достаточно распространённым и содержится в программных продуктах, предназначенных для решения задач вычислительной алгебры.