5.9.2. Доказательство сходимости

Покажем теперь, что если выборки линейно разделяемы н 0<ρ<1, то процедура Хо — Кашьяпа будет давать вектор решения за конечное число шагов. Чтобы сделать алгоритм конечным, следовало бы добавить правило остановки, по которому процесс коррекций прекратится сразу же, как будет найден вектор решения. Однако более удобно считать процесс коррекций непрерывным и показать, что вектор ошибки е, либо становится нулевым при некотором конечном k, либо сходится к нулевому при k→∞.

Очевидно, что либо е_k=0 при некотором k, скажем при k₀, либо в последовательности е₁, е₂, ... не содержится нулевых векторов. В первом случае, как только нулевой вектор получен, ни один из векторов a_k, b_k или e_k больше не изменяется и Ya_k= b_k >0для всех k>k₀. Таким образом, при получении нулевого вектора ошибки алгоритм автоматически останавливается, и мы имеем вектор решения.

Предположим теперь, что e_k никогда не станет нулевым при конечном k. Чтобы показать, что e_k тем не менее должно сходиться к нулю, сначала поставим вопрос, возможно ли получение e_k с неположительными компонентами. Указанное обстоятельство должно быть наиболее нежелательным, поскольку требуется, чтобы выполнялось условие Ya_k< b_k и поскольку e^†_k должно быть нулевым, чтобы прекратилось дальнейшее изменение a_k, b_k или e_k, b_k или e_k. К счастью, данная ситуация может никогда не возникнуть, если выборки линейно разделяемы. Доказательство просто и основано на том факте, что если Y^tYa_k = Y^tb_k Однако в случае линейно разделяемых выборок существуют такие и>0, что справедливо соотношение

Таким образом,

и поскольку все компоненты вектора положительны, то либое_k = 0, либо по крайней мере одна из компонент е_k должна быть положительна. Поскольку случай е_k=0 исключен, из этого следует, что е_k⁺ может не быть нулем при конечном k.

Для доказательства того, что вектор ошибки всегда сходится к нулю, используется тот факт, что матрица YY^† симметрична, положительно полуопределена и удовлетворяет соотношению

Хотя эти результаты справедливы и в общем случае, для простоты рассмотрим их только для невырожденной матрицыY^†Y В этом случае YY^†=Y(Y^†Y)^-1Y^t и симметричность очевидна. Поскольку матрица Y^tY является положительно определенной, то существует матрица (Y^tY)^-1; таким образом, b^tY(Y^tY)^-1Y^tb≥0 при любом b, и матрица YY^† является по крайней мере положительно полуопределенной. Итак, соотношение (66) вытекает из следующего:

Чтобы показать, чтое_k должно сходиться к нулю, исключим а_k из (63)-(65) и получим следующее выражение:

Затем, используя (62), получим рекуррентную формулу

Как второй, так и третий члены значительно упрощаются. Посколькуe_k^tY=0, второй член представляется в виде

ненулевые компоненты вектора e_k⁺являются положительными компонентами вектора e_k. Поскольку матрица YY^† симметрична и равна произведению (YY^†)^t(YY^†) третий член упростится до следующего выражения:

Поскольку предполагается, что вектор e_k⁺ ненулевой и матрица YY^† является положительной полуопределенной, то ||e_k||²>||e_k+1||² , если 0<ρ<1. Таким образом, последовательность ||e₁||², ||e₂||² ... будет монотонно убывающей и должна сходиться к некоторому предельному значению ||e||². Однако в случае рассматриваемой сходимости e_k⁺ должно сходиться к нулю, так что все положитель­ные компоненты e_k должны сходиться к нулю. И поскольку e_k^tb = 0 для всех k, отсюда следует, что все компоненты вектора e_k должны сходиться к нулю. Таким образом, при условии, что 0< ρ <1 и выборки линейно разделяемы, а_k будет сходиться к вектору решения при k, стремящемся к бесконечности.

Если на каждом шаге проверяются знаки компонент вектора Ya_k и алгоритм останавливается при условии, что они положительны,то фактически получаем разделяющий вектор в случае конечного числа шагов. Это следует из того факта, что Yа_k=b_k+ e_k; и что компоненты вектора b_k никогда не убывают. Таким образом, если b_min является наименьшей компонентой вектора b₁ и если e_k сходится к нулю, то вектор е_k должен попасть в гиперсферу || е_k ||= b_min после конечного числа шагов, при котором Ya_k >0. Хотя в целях упрощения доказательства условия остановки были исключены, указанное условие должно всегда применяться на практике.