5.5.3. Некоторые непосредственные обобщения

Правило постоянного приращения можно обобщить с целью выделения связанных между собой алгоритмов. Коротко будут рас­смотрены два наиболее интересных варианта. В первом варианте вводится понятие переменного приращения и допуск b и предус­матривается коррекция, когда величина является недостаточ­ной для превышения допуска. Алгоритм задается в следующем виде:

(20)

где теперь b для всех k. Можно показать, что, если вы­борки линейно разделяемы и если

(21)

(22)

(23)

a_k сходится к вектору решения а, удовлетворяющему условию при всех значенияхi. В частности, условия, налагаемые на , выполняются в том случае, если является положительной константой или убывает как 1/k.

Следующим вариантом, представляющим интерес, является первоначально рассмотренный алгоритм градиентного спуска для J_p:

(24)

где Y_k — множество выборок, классифицируемых с ошибкой посредством а_k. Легко видеть, что данный алгоритм будет также давать решение, принимая во внимание, что если является вектором решения для последовательности y₁, . . ., y_n, то он правильно клас­сифицирует корректирующий вектор

Таким образом, если выборки являются линейно разделяемыми, то все возможные виды корректирующих векторов составляют линейно разделяемое множество, и если удовлетворяет соотношениям (21) — (23), то последовательность весовых векторов, получаемая посредством алгоритма градиентного спуска для Jp, всегда будет сходиться к вектору решения.

Интересно заметить, что условия, налагаемые на , удовлетво­ряются в тех случаях, когда является положительной константой и когда убывает как 1/k или даже возрастает с ростом k. Вообще говоря, предпочтение следует отдавать , уменьшающемуся с те­чением времени. Это замечание становится особенно существенным, когда есть основание считать, что множество выборок линейно нераз-деляемо, поскольку в данном случае уменьшается отрицательное влияние нескольких «плохих» выборок. Однако то, что в случае разделяемых выборок при увеличении получение решения ока­зывается все же возможным, кажется довольно странным.

Из данного наблюдения вытекает одно из различий между теоре­тическим и практическим взглядами на эту проблему. С теоретиче­ской точки зрения представляется интересным тот факт, что решение можно получить при наличии конечного числа шагов в случае лю­бого ограниченного множества разделяемых выборок, при любом начальном весовом векторе a₁, при любом неотрицательном значении допуска b и при любом скалярном коэффициенте , удовлетво­ряющем соотношениям (21) — (23). С практической точки зрения желательно производить разумный выбор указанных величин. Рас­смотрим, например, допуск b. Если b намного меньше ||y^k||², т.е. той величины, на которую возрастает в результате коррекции, то очевидно, что b будет оказывать совсем малое влияние. Если b намного превосходит величину ||y^k||², то потребуется большое число коррекций, чтобы добиться выполнения условия >b. Часто в качестве компромиссного подхода используют величину, близкую к ||y^k||². Кроме указанных вариантов выбора и b, большое влияние на результат может оказывать масштабирование компонент вектора у^k. Наличие теоремы сходимости не избавляет от необходимости сознательного подхода при использовании данных методик.