5.8. Процедуры минимизации квадратичной ошибки

5.8.1. Минимальная квадратичная ошибка и псевдообращение

В случае ранее рассмотренных функций критерия внимание в основном было сфокусировано на выборках, классифицируемых с ошибкой. Теперь будет рассмотрена функция критерия, включаю­щая все выборки. Там, где прежде осуществлялся предварительный поиск весового вектора а, приводящего к положительным значениям все скалярные произведения а^tу_i, теперь попытаемся получить а^tу_i=b_i, где b_i являются произвольно заданными положительными

константами. Таким образом, задача нахождения решения системы линейных неравенств заменяется более строгой, но более понятной задачей определения решения системы линейных уравнений.

Вид системы линейных уравнений упрощается, если ввести матричные обозначения. Пусть Y — матрица размера nx, i-я строка которой является вектором , и пустьb—вектор-столбец b=(b₁, . . . , b_n)^t. Тогда наша задача сводится к определению весового век­тора а, удовлетворяющего уравнению

Yа=b. (29)

Если бы матрица Y была невырожденной, то можно было бы записать равенство а=Y^-1b и сразу же получить формальное реше­ние. Однако Y является прямоугольной матрицей, у которой число строк обычно превышает число столбцов. Когда уравнений больше, чем неизвестных, вектор а определен избыточно, и обычно точного решения не существует. Однако можно искать весовой вектор а, минимизирующий некоторую функцию разности между Yа и b. Если определить вектор ошибки е как

е=Yа-b, (30)

то данный подход будет состоять в минимизации квадрата длины вектора ошибки. Данная операция эквивалентна задаче минимиза­ции функции критерия, выражаемой суммой квадратичных ошибок:

. (31)

Задача минимизации суммы квадратичных ошибок является классической. Как будет показано в п. 5.8.4, она может быть реше­на методом градиентного анализа. Простое решение в замкнутой форме можно также получить, образуя градиент

и полагая его равным нулю. Отсюда получается необходимое усло­вие

(32)

и задача решения уравнения сводится к задаче решения урав­нения . Большим достоинством этого замечательного уравнения является то, что матрица размераквадратная и часто невырожденная. Если данная матрица невырождена, вектор а может быть определен однозначно:

, (33)

где матрица размера n

(34)

называетсяпсевдообращением матрицы Y. Заметим, что если матрица Y квадратная и невырожденная, псевдообращенная совпадает с обычным обращением. Следует также отметить, что Y^†Y = I, но обычно YY^†  I. Если матрица Y^tY вырождена, решение уравнения (32) не будет единственным. Однако решение, обеспечивающее минимальную квадратичную ошибку, существует всегда. В частности, при определении Y в более общем виде: можно показать, что данный предел всегда существует, и a=Y^†b является решением уравнения Ya.=b, обеспечивающим наименьшую квадратичную ошибку. Указанные и другие интересные свойства псевдообращения подробно изложены в литературе.

Решение с наименьшей квадратичной ошибкой зависит от вектора допуска b показано, что различные способы выбора b приводят к различным свойствам получаемого решения. Если вектор b задан произвольно, то нет оснований, считать, что в случае линейно разделяемых множеств решение с наименьшей квадратичной ошибкой даст разделяющий вектор. Однако можно надеяться, что в случае как разделяемых, так и неразделяемых множеств в результате минимизации функции критерия квадратичной ошибки может быть получена нужная разделяющая функция. Теперь перейдем к исследованию двух свойств решения, подтверждающих данное утверждение.