
- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •Решение двух случаев.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
Кумулятивный потенциал на k-м шаге итерации определяется совокупностью значений отдельных потенциальных функций. Этот кумулятивный потенциал, который мы будем обозначать через Kk(x), определенный таким образом, чтобы при неправильной классификации образа обучающий выборки xk+1 производилась коррекция значения кумулятивного потенциала. Если же этот образ классифицируется правильно, то на данном шаге итерации значения кумулятивного потенциала не изменяются. Кумулятивный потенциал вводится следующим образом.
В начале этапа обучения исходное значение кумулятивного потенциала K0(x) полагается для удобства записи равным нулю. При предъявлении первого образа x1 из обучающей выборки значения кумулятивного потенциала корректируется согласно следующему соотношению
Поскольку, однако, K0(x )= 0 , результат первого вычисления кумулятивного потенциала можно представить как
В этом случае кумулятивный потенциал просто равен значению потенциальной функции для выборочного образа x1. Потенциал предполагается положительным для образов, принадлежащих классу w1, и отрицательным для образов, принадлежащих классу w2. В этом случае кумулятивный потенциал K1(x) представляет начальный вариант разделяющей границы.
При предъявлении второго образа x2 обучающей выборки значение кумулятивного потенциала определяется следующим образом
Если
и K1(x2)
0 или
и K1(x2) 0 , то
Если и K1(x2)
0, то
Если и K1(x2)
0, то
Возникновение этих двух ситуаций означает, что при расположении точки, представляющей выборочный образ x2, с «неправильной» стороны разделяющей границы, определенной кумулятивным потенциалом K1(x), значение кумулятивного потенциала увеличивается на величину K(x, x2) для образа и уменьшается на величину K(x, x2) для образа
При предъявлении третьего образа x3 обучающей выборки кумулятивный потенциал определяется аналогично
Если
и K2(x3) 0 или
и K2(x3) 0 , то
Другими словами, в тех случаях, когда разделяющая граница, определенная кумулятивным потенциалом K2(x), обеспечивает правильную классификацию, кумулятивный потенциал не изменяется
Если и K2(x3) 0, то
(1)
Если и K2(x3) 0, то
(2)
Другими словами, в тех случаях, когда разделяющая граница, определенная кумулятивным потенциалом K2(x), не обеспечивает правильную классификацию, значение кумулятивный потенциал увеличивается или уменьшается на величину K(x, x3) в зависимости от принадлежности образа x3 классу w1 или w2. Член K(x, x2), входящий в уравнения (1) и (2), будет, естественно, отсутвовать, если образ x2 классифицируется праивльно.
Пусть, наконец, Kk(x) – значение кумулятивного потенциала, полученное после предхявления k образов обучающей выборки х1, х2, …, хk. Кумулятивный потенциал Kk+1(x), возникающий после предъявления (k+1)го выборочного образа, определяется так
Если
и Kk(xk+1) 0 или
и Kk(xk+1) 0 , то
(3)
Если и Kk(xk+1) 0, то
(4)
Если и Kk(xk+1) 0, то
(5)
Уравнения (3), (4), (5) определяют алгоритм итеративного вычисления кумулятивного потенциала. Этот алгоритм можно записать так:
(8)
где коэффициенты rk+1, при корректирующем члене определяются соотношением
Если алгоритм дает правильную классификацию, то коэффициент rk+1=0. Если же алгоритм классифицирует образ неправильно, то коэффициент rk+1=+1 или (-1) в зависимости от принадлежности соответствующего образа классу w1 или классу w2.