6.3. Сходимость алгоритмов обучения

Рассмотрим теоремы, которые играют фундаментальную роль в классификации методом потенциальных функций.

Теорема 1. (О свойствах сходимости алгоритма)

Пусть векторы образов удовлетворяют в пространстве образов следующим условиям.

1. Потенциальная функция (6.1) ограничена для (Т₁ и Т₂ – обучающие множества).

2. Существует решающая функция, представимая в виде (6.2)

такая, что

(6.20)

где ε>0.

3. Обучающая выборка образов обладает следующими статистическими свойствами:

а) в обучающей последовательности выборочные образы появляются независимо,

б) если на k – м шаге итерации алгоритма обучения решающая функция не обеспечивает правильной классификации всех образов , то с достаточно большой вероятностью будет предъявлен образ , корректирующий ошибку.

Тогда с вероятностью 1 можно определить конечное число шагов R таких, что кумулятивный потенциал

■

Другими словами, последовательная аппроксимация решающей функции с вероятностью 1 сходится к решающей функции за конечное число предъявлений образов обучающей выборки. Это означает, что разделение классов и осуществляется за конечное число шагов с вероятностью 1.

Теорема 2. (О скорости сходимости алгоритма)

Пусть - бесконечная последовательность обучающих образов, выбранных из обучающего множества , причем и . Допустим, что потенциальная функция ограничена при и существует решающая функция, представимая разложением (6.2) и удовлетворяющая условиям (6.20). Тогда существует целое число

,

не зависящее от выбора обучающей последовательности и такое, что при использовании алгоритмов итеративного вычисления кумулятивного потенциала и решающей функции число коррекций не превышает величины R.■

Эта теорема утверждает, что размер последовательности, корректирующей ошибки, уменьшается по мере удаления образов обучающей выборки от разделяющей границы , т.е. по мере удаления их друг от друга.

Теорема 3. (Условия прекращения выполнения алгоритма)

Пусть процесс обучения прекращается, если после осуществления k коррекций неправильной классификации, при предъявлении следующих выборочных образов никакие коррекции больше не производятся. Другими словами, процесс обучения прекращается после предъявления выборочных образов, где определяется выражением

Таким образом, общее число предъявлений образов, необходимое для прекращения работы алгоритма, увеличивается на единицу после каждой коррекции неправильной классификации. Задача заключается в определении числа контрольных выборочных образов , необходимых для обеспечения заданного качества процедуры обучения. Обозначим через - вероятность совершения ошибки после предъявления системе выборочных образов. Тогда для любых ε>0 и δ>0 вероятность того, что , будет больше чем 1-δ, если

.■

Отметим, что выбор числа контрольных выборочных образов зависит, согласно этому неравенству, только от заданных значений ε и δ, характеризующих качество обучающей процедуры. Выбор величины не зависит от свойств классов и и статистических характеристик образов.