
- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •Решение двух случаев.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
37. Перцептрон и его математическая модель.
Перцептрон – устройство, моделирующее работу мозга человека.
Существует три типа элементов в перцептроне:
|
Играют роль рецепторов, воспринимающих сигналы внешней среды. |
|
Воспринимают сигнал от группы прикрепленных элементов; вырабатывают сигнал, если совокупное воздействие входов превосходит некоторое пороговое значение. |
|
Соответствуют каждый определенному классу; любой элемент вырабатывает сигнал – линейную комбинацию входов. |
где
коэффициенты усиления.
Перцептрон
относит
к тому классу, в соответствие с которым
поставлен
элемент с наибольшим значением выходного
сигнала.
Обучение
перцептрона заключается в установлении
таких значений
каждого
элемента, при которых перцептрон
осуществляет безошибочную классификацию
предъявленной маркированной обучающей
последовательности.
Существует
много разные типов перцептронов,
отличающихся воспринимающими
элементами, системой связи, количеством
слоев
элементов, процедурами обучения.
Математическая модель перцептрона.
Будем
рассматривать только случай
(количество классов ограничено). Тогда
будет достаточно 1
элемента.
Признаки
подаются на
элементы в виде вектора
.
.
вектор весов. Тогда
.
разделяющая гиперповерхность.
Принадлежность тому или иному
подпространству исходного пространства
означает принадлежность тому или иному
классу (всего два варианта).
уравнение гиперплоскости, проходящей
через начало координат.
спрямляющее пространство.
38. Алгоритм обучения перцептрона
граница раздела между
двумя классами.
Обучение
перцептрона сводится к определению
весовых коэффициентов
на основе маркированной обучающей
последовательности таким образом, чтобы
эта обучающая последовательность
правильно классифицировалась перцептроном.
мерных векторов.
значение вектора весов на
шаге алгоритма.
элемент обучающей последовательности,
используемый на
шаге алгоритма. В процессе работы
алгоритма
может быть пройдено алгоритмом
неоднократно.
корректирующее приращение.
Рассмотрим
ый шаг алгоритма. Если
и
,
то
.
Если
и
,
то
.
Если ни одно условие из двух не выполнилось,
оставляем вектор без изменений:
.
Алгоритм
заканчивает свою работу, если вся
обучающая последовательность
проходиться без изменений вектора
весов.
Замечание 1. Алгоритм обучения перцептрона реализует известный в биологии принцип подкрепления – наказания, когда наказание – изменение весов и продолжение работы; подкрепление – отсутствие наказания.
Замечание 2. Разделяющая гиперплоскость в спрямляющем пространстве проходит через начало координат. Однако, разделение обучающей последовательности такой гиперплоскостью не всегда возможно. В этом случае переходят к пополненному спрямляющему пространству.
В дальнейшем будем считать, что такое пополнение спрямляющего пространства при необходимости уже сделано.
Замечание
3. Наряду с исходной обучающей
последовательностью будем рассматривать
преобразованную обучающую последовательность
–
,
в которой
.
Тогда
ый шаг алгоритма запишется так: если
,
то
,
иначе
.