
- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •Решение двух случаев.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
Классификация на основе синтаксического анализатора:
Достоинства: требуется минимум информации (так как грамматика – компактное представление языка), информация в грамматике о языке всегда полная.
Недостатки: сложность вывода для обобщенных грамматик.
63. Задача восстановления грамматики по обуч выборке
Грамматика
будет конструироваться по представителям
своего языка
.
Кроме того, есть недопустимые представители
– цепочки
.
Рассмотрим грамматику
как строящуюся грамматику
.
маркированная выборка – множество
цепочек алфавита
что либо
,
либо
.
содержит принадлежащих языку
представителей,
содержит не принадлежащих языку
представителей.
При
увеличении объема выборки появляются
новые представители:
.
Грамматика
строится таким образом, что
:
допускаемые цепочки из
выводимы в грамматике
;
пропускаемые цепочки из
не выводимы в грамматике
.
Задача
восстановления грамматики
называется разрешимой, если существует
алгоритм, который за конечное число
шагов может построить грамматику
,
что начиная с
.
Замечания. Существует не единственная грамматика, которая эквивалентна (является решением задачи восстановления грамматики).
Если задано
множество грамматик
и в нём грамматика
,
и если алгоритм формирует грамматики
из множества
,
то будем говорить, что алгоритм
перечисляет множество
.
64. Информаторное представление задачи расп
Будем говорить, что задача восстановления грамматики дана в информаторном представлении, если:
65. Текстуальное
Будем говорить, что задача восстановления грамматики дана в текстуальном представлении, если:
66. Теор о разрешимости
Теорема о разрешимости задачи для информаторного представления.
Пусть
произвольное множество разрешимых
грамматик. Тогда при информаторном
представлении задача восстановления
грамматики разрешима для любой грамматики
из
.
67. Теор о неразр
Теорема о неразрешимости для текстуального представления.
Рассмотрим множество грамматик всех конечных языков и 1 грамматики, порождающей бесконечный язык. Тогда не существует алгоритма, который для произвольной грамматики из данного множества решает задачу восстановления грамматики.
Отметим, что множество является перечислимым множеством грамматик, так как содержит все грамматики, порождающие конечные языки, и только одну грамматику, порождающую бесконечный язык.
68. Два класса алг восст грамм
Алгоритмы восстановления грамматик можно разделить на 2класса:
алгоритмы восстановления грамматики перечислением;
алгоритмы восстановления грамматики индукцией.
Алгоритмы восстановления грамматики перечислением не могут быть эффективны, т.к. грамматики в перечисляются независимо от выборки.
Алгоритмы восстановления
грамматики индукцией используют подход,
который заключается в построении
достаточно простой грамматики
на основе изучения выборки
так, чтобы
Наиболее известным примером алгоритма восстановления грамматики индукцией является алгоритм Фельдмана.
69. Алг Фельдмана
Алгоритм можно разделить на три части. Первая часть формирует нерекурсивную грамматику. Вторая часть преобразует её в рекурсивную грамматику. Затем, в третьей части, происходит упрощение этой грамматики.
Рассмотрим выборочное
множество терминальных цепочек
.
Требуется получить автоматную грамматику,
способную порождать эти цепочки. Алгоритм
построения грамматики состоит из
следующих этапов.