39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.

Пусть задана преобразованная обучающая последовательность . Введем дополнительные величины:

Выпуклая оболочка – наименьшее выпуклое множество, содержащее данное множество. Выпуклая оболочка – пересечение всех выпуклых множеств, содержащих данное множество. Выпуклой оболочкой конечного множества точек будет мерный симплекс, некоторые, возможно все, вершины которого совпадают с точками заданного множества.

наибольшая длина вектор – расстояние от точки начала координат до наиболее удаленной точки.

расстояние от точки начала координат до выпуклой оболочки множества точек .

Множество точек обучающей последовательности может правильно классифицироваться перцептроном, если существует такая гиперплоскость, что все точки преобразованной обучающей последовательности лежат по одну сторону гиперплоскости (выполняется ).

Теорема Новикова.

Пусть имеется бесконечная маркированная преобразованная обучающая последовательность , прообразы которой принадлежат к или одновременно (то есть только к этим двум классам – прим.). Пусть существует такой вектор весов , что . Пусть также . Тогда алгоритм обучения перцептрона с параметрами сходится, причем количество коррекций окажется не

40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.

Пусть задан вектор признаков . Классов выделено 2: .

Задан вид функции , в котором перечислены некоторые параметры . Это будет функция классификации: .

На входе мы имеем маркированную последовательность: .

Требуется найти значения вектора параметров функции , которая обеспечивает безошибочную классификацию каждого изображения: .

Решение задачи оро.

Пусть имеет место один из следующих случаев:

• Существует функций вида , таких, что для них является общей точкой минимума: . Это равносильно существования функции .

• Существует функция такая, что минимум её достигается в точке : .

Тогда в первом случае исходная постановка задачи сводится к задаче общего отыскания минимума, во втором случае – задаче отыскания минимума функции .

Замечание: эти две ситуации не являются взаимоисключающими.

Теперь введем два основных предположения:

• Все функции непрерывны и дифференцируемы по ;

• Все эти функции имеют единственный минимум.

В этих предположениях отыскание точки минимума функции можно осуществлять, используя понятие градиента.

Для функции градиент (вектор) определяется как . Вектор градиента указывает направление наибольшего возрастания функции в точке . В таком случае: указывает направление наибольшего убывания функции в точке . Поэтому поиск минимума функции можно вести последовательно с помощью следующей процедуры:

С началом в какой-то заданной точке и постоянной .

Если на каком-то шаге этой итеративной процедуры имеет место неравенство , то проводится остановка процедуры и точка считается минимумом функции .

Сходимость процедуры.

Это процедура является алгоритмом градиентного спуска. Сходимость зависит от вида функции , выбора начальной точки , значения постоянной шага .

Для успешной работы процедуры требуется наличие только одного локального минимума, иначе достигнутый минимум может и не быть глобальным минимумом.

Для предотвращения блуждания вместо константы применяют функцию , обладающую следующим свойством: . В таком случае, довольно скоро точки и будут мало отличаться, и произойдет останов процедуры.