4.4 Метод стохастической аппроксимации

Рассмотрим функционал, [4.7, 4.8] представляющий собой среднее значение (математическое ожидание) некоторой случайной функции, зависящей от и вектора коэффициентов

(4.84)

где – знак математического ожидания (усреднения по пространству признаков ), – плотность вероятности значений в данной точке пространства.

Предположим сначала, что величина является заданной и тогда условия экстремума функционала (4.84) будут такими:

Эти условия можно записать в векторной форме

. (4.85)

Условие равенства нулю градиента функционала дает систему уравнений для определения значения вектора, при котором достигает экстремума. Для пространства большей размерности часто более эффективным является применение итеративных методов. Представим равенство в эквивалентной форме

(4.86)

где – матрица скалярных коэффициентов, детерминант которой отличен от нуля:

(4.87)

Форма записи (4.86) дает естественный алгоритм последовательных приближений

(4.88)

В последнем равенстве

(4.89)

Алгоритм последовательных приближений можно обобщить на случай, когда среднее значение неизвестно, но известны отдельные его реализации. Они используются как оценки среднего значения б что приводит к следующей процедуре:

(4.90)

В этом алгоритме для построения (n + 1)-го приближения вектора необходимо знать предыдущее значение и значение на (n+1)-м шаге. Матрица стягивающих коэффициентов пропорциональна единичной матрице.

В дальнейшем ограничимся рассмотрением случая, когда матрица стягивающих коэффициентов пропорциональна единичной матрице:

. (4.91)

В этом случае равенство (4.90) будет иметь вид:

(4.92)

где: – скалярный множитель.

4.4.1 Условие сходимости алгоритма последовательных приближений.

Условия сходимости алгоритма при возрастании n (числа приближений). Если процесс последовательных приближений сходится, то

(4.93)

тогда из соотношения следует необходимое условие сходимости

(4.94)

В общем случае экстремум функционала достигается при равенстве нулю среднего значения градиента, а не его отдельных значений, и по этому из условия (4.94) вытекает

(4.95)

При отсутствии существенных помех, значение при возрастании стабилизируется и отдельные реализации мало отличаются от среднего значения. Тогда

(4.96)

и может быть постоянной или стремящейся к постоянной величине.

Достаточные условия сходимости при выборе «плавных» функций состоит в следующем [4.1]:

(4.97)

(4.98)

(4.99)

Поясним смысл приведенных условий. Величина должна быть положительной, чтобы осуществлять коррекцию вектора по знаку . Второе условие связано с тем, что слишком быстрое уменьшение  может привести к тому, что начало обучающей последовательности окажет влияние на окончательный результата. Условие (4.99) должно устранить возможное влияние погрешностей, шумов, которые налагаются и в том случае, когда вектор достаточно близок и к точному значению.

4.4.2 Структура алгоритма нахождения весового вектора.

Приближенное значение разделяющей функции:

(4.100)

Функция потерь считается зависящей от разности точного и приближенного решений:

(4.101)

Градиент по  функции потерь:

(4.102)

где – производная функции .

В соответствии с алгоритмом (4.92) будем иметь:

(4.103)

В более общем случае получим следующий алгоритм:

(4.104)

Выбор функции потерь связан с существенными трудностями, так как в процессе обучения точное значение разделяющей функции f*(x) обычно неизвестно. Знак функции всегда известен (он определяет принадлежность объекта из обучающей последовательности к диагнозу D₁ или D₂).

Построим алгоритм, выбирая функцию потерь следующим образом:

(4.105)

Если знаки приближенной функции разделения f и точной f* совпадают, т.е. погрешность распознавания отсутствует, то функция потерь обращается в нуль. Если указанные знаки не совпадают, то, [4.1], функция потерь всегда положительна. Таким образом:

(4.106)

Принимая значение f(x) из соотношения (4.100) находим:

(4.107)

и (4.108)

Теперь из равенства (4.104) вытекает:

(4.109)

Данный алгоритм соответствует методу потенциальных функций. Следует отметить, что условие минимума потерь недостаточно полно отражает механизм распознавания, так как не учитывает состояние объектов и различную стоимость ошибочных решений. Более полная структура алгоритмов метода стохастической аппроксимации приведена в [4.1].