
- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •Решение двух случаев.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
2.3. Понятие и виды опорных функций
Главной характеристикой алгоритмов
МГУА является вид элементарной функции
y. Наиболее простыми
алгоритмами МГУА являются алгоритмы с
линейными полиномами вида
.
В таких алгоритмах усложнение модели
происходит только за счет увеличения
числа учитываемых аргументов. Число
рядов можно наращивать до S=N-1.
Дальнейшее наращивание рядов не имеет
смысла, так как уже при S=N-1
полный полином будет представлять собой
полную линейную сумму всех исходных
аргументов.
Более сложными алгоритмами являются
алгоритмы с сокращенными полиномами
второй степени
.
В таких алгоритмах сложность модели
увеличивается от ряда к ряду как по
числу учитываемых аргументов, так и по
их степени. Степень описания непрерывно
повышается, появляются различные
произведения исходных аргументов по
два, по три, по четыре и т. д.
Еще более быстрый рост степени полинома
может быть получен при полных
квадратичных элементарных полиномах
вида
.
В таких алгоритмах степень аргументов
увеличивается от ряда к ряду. Когда
исходных переменных много, то для того,
чтобы в окончательном полиноме участвовали
все исходные аргументы, необходимо
осуществить много рядов самоотбора.
Такие операторы следует применять
только тогда, когда число исходных
переменных невелико.
Другой разновидностью являются алгоритмы
с элементарными полиномами смешанного
вида, в которых исходные аргументы
входят в частные описания последующих
рядов, например
.
В некоторых алгоритмах осуществляется так называемая протекция переменных. Если выбирать просто лучшие пары аргументов, то некоторые аргументы могут быть потеряны и не попадут в окончательный полином. Поэтому некоторые пары насильственно пропускаются в последующие ряды для того, чтобы они участвовали в окончательном решении.
. Критерии селекции
При работе алгоритма, из ряда в ряд селекции при помощи пороговых отборов пропускается только некоторое количество самых регулярных или несмещенных переменных. Степень регулярности оценивается по величине среднеквадратичной ошибки, а степень несмещенности по специальному критерию(описанному ниже в п.2).
Критерий регулярности.
Для получения наиболее регулярного математического описания в качестве критерия селекции используется величина среднеквадратичной ошибки, измеренной на отдельной проверочной последовательности.
- абсолютная ошибка на проверочной
последовательности.
- среднеквадратическая ошибка на
проверочной последовательности, где
- прогнозное значение;
- значение на проверочной последовательности.
Критерий несмещенности.
Берем всю выборку, делим на две части
.
Проводим первый эксперимент – здесь
роль обучающей выборки играет выборка
,
проверочная выборка -
.
Выходы определяются как
,
k = 1..N.
Во второй раз, обучающая и проверочная
выборка меняются местами. Выходы
определяются как
,
k = 1..N.
-
среднеквадратичное отклонение,
рассчитанное по всем точкам обеих
последовательностей.
Далее, из всех уравнений текущего ряда,
выбирается F уравнений,
имеющих меньшую оценку
.
Из них формируется критерий несмещенности
ряда, являющийся средним значением
отобранных несмещенных уравнений.
- критерий несмещенности для всего
ряда.