45. Теоремы о сходимости обучения классификации методом потенциальных функций.

Теорема 1: (О свойствах сходимости алгоритма.) Пусть векторы образов удовлетворяют в пространстве образов следующим условиям:

1. Потенциальная функция

ограничена для всех

2. Существует решающая функция, представимая в виде

такая что

где

3. Обучающая выборка образов обладает следующими статистическими свойствами:

а) в обучающей последовательности выборочные образы проявляются независимо

б) если на k-ом шаге алгоритма обучения решающая функция не обеспечивает правильной классификации всех образов , то с положительной вероятностью будет представлен образ , корректирующий ошибку.

Тогда с вероятностью 1 можно определить конечное число шагов , таких, что кумулятивный потенциал

Другими словами последовательная оппроксимация решающей функции с вероятностью 1 сходится к решающей функции за конечное число предъявленных образов обучающей выборки.

Теорема 2: (О скорости сходимости алгоритма) Пусть

бесконечная обучающая последовательность множества , причем и . Допустим, что потенциальная функция ограничена при , и существует решающая функция, представимая разложением и удовлетворяющая условиям . Тогда существует целое число

не зависящее от выбора обучающей последовательности и такое, что при использовании описанных алгоритмов число коррекций не превышает величины

Теорема 3: (Условия прекращения алгоритма.) Пусть процесс обучения прекращается, если после осуществления коррекций неправильной классификации при предъявлении следующих выборочных образов никакие коррекции больше не производятся. Другими словами процесс обучения прекращается после предъявления выборочных образов, где определяется выражением

Таким образом, общее число предъявлений образов, необходимое для прекращения работы алгоритма, увеличивается на 1 после каждой коррекции неправильной классификации. Задача заключается в определении числа контрольных выборочных образов , необходимых для обеспечения заданного качества процедуры обучения. Обозначим через вероятность совершения ошибки после предъявления системе выборочных образов. Тогда для любых и вероятность того, что , будет больше, чем , если

46. Достоинства и недостатки распознающих процедур перцептронного типа

Достоинства итеративных процедур обучения распознаванию на основе градиентных методов:

• Возможность обучения при некоторых условиях безошибочной классификации;

• Пригодность для разных видов классифицирующих функций;

• Обучающая последовательность является произвольной; главное, чтобы она охватывала все классы;

• Результаты обучения классификации не зависят от начального строения перцептрона.

Достоинства итеративных процедур обучения распознаванию на основе градиентных методов:

• Для обучения сложной классификации может потребоваться перцептрон с большим количеством элементов;

• Время обучения (длина обучающей последовательности) может оказаться большим;

• Очень трудно проверить условие сходимости алгоритмов обучения перцептрона типа сформулированных в теореме Новикова и других теоремах, поэтому практически возможности обучения зависят лишь от выделенных ресурсов.

Стохастический подход к распознаванию образов