Лекции 17 обучение по примерам

План лекции

Лекция 1

ВВЕДЕНИЕ

Лекция 2

ИСКУСТВЕННЫЙ ИНТЕЛЛЕКТ КАК НАУЧНОЕ НАПРАВЛЕНИЕ

Лекция 3

ЗНАНИЯ И ДАННЫЕ

Лекция 4

ПРЕДСТАВЛЕНИЕ ЗНАНИЙ И РАССУЖДЕНИЙ

Лекция 5

ЛОГИЧЕСКИЕ МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ

Лекция 6

ПСЕВДОФИЗИЧЕСИЕ ЛОГИКИ

Лекция 7

ПСЕВДОФИЗИЧЕСКИЕ ЛОГИКИ

Лекция 8

ПСЕВДОФИЗИЧЕСКИЕ ЛОГИКИ

Лекция 9

ПРОДУКЦИОННЫЕ МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ

Лекция 10

МЕТОДЫ ПРЕДСТАВЛЕНИЯ И ОБРАБОТКИ НЕЧЕТКИХ ЗНАНИЙ В ПРОДУКЦИОННЫХ СИСТЕМАХ

Лекция 11

МЕТОДЫ ПРЕДСТАВЛЕНИЯ И ОБРАБОТКИ НЕЧЕТКИХ ЗНАНИЙ В ПРОДУКЦИОННЫХ СИСТЕМАХ

Лекция 12

СЕТЕВЫЕ СЕМАНТИЧЕСКИЕ МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ

Лекция 13

СЕТЕВЫЕ СЕМАНТИЧЕСКИЕ МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ

Лекция 14

ФРЕЙМЫ И ОБЪЕКТЫ

Лекция 15

СЦЕНАРИИ

Лекция 16

МОДЕЛИ ОБУЧЕНИЯ

Лекции 17

ОБУЧЕНИЕ ПО ПРИМЕРАМ

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Итеративные алгоритмы обучения

В большинстве задач ОП множество примеров потенциально бесконечно. Это означает, что хотя в каждый конкретный момент времени имеется конечное множество примеров, но число их может увеличиваться неограниченно. Например, при расшифровке конечного автомата можно подавать на его вход новые входные сигналы, получая в ответ новые выходные. Новые данные могут помочь отсеять некоторые описания и может наступить момент, когда останется единственный вариант, который не будет опровергаться последующими примерами. Такие ситуации возможны, хотя обычно не существует алгоритма, способного определить момент стабилизации решения.

Пусть задана (потенциально бесконечная) последовательность чисел у₀, у₁, у₂, ... Задача состоит в нахождении полинома Р, такого, что у₀, у₁, ... совпадают со значениями Р(х) при х=0, 1, ... Решение задачи будем искать с помощью итеративной процедуры, работа которой на k-м шаге состоит в обработке очередной порции примеров — последовательности у₀, у₁, ...у_k и выдаче на этой основе некоторого полинома Р_k (гипотеза об искомом полиноме Р). В качестве P_k выберем первый в фиксированном заранее перечислении всех возможных полиномов полином степени, меньшей или равной k, такой, что значения его при х=0, 1, ..., k совпадают с у₀, у₁, ...у_k (возможность перечисления полиномов и существование Р_k очевидны). Если пример y_k+1, рассматриваемый на следующем шаге итерации, будет таким, что Р(k+1) =y_k+1 (т. е. гипотеза не опровергается), то P_k+1 будет совпадать с Р_k. Если P_k и далее не опровергается, то оно будет искомым полиномом. С другой стороны, поскольку последовательность у₀, у₁, ...у_k.. «полиномиальная», то после некоторого числа опровержений подходящий полином будет найден. Таким образом, после «достаточно большого» числа примеров последовательность гипотез стабилизируются на полиноме, удовлетворяющем условию задачи. Однако определить достаточное число примеров алгоритмически невозможно, хотя очевидно, что если вместе с примерами в качестве дополнительной информации задана степень искомого полинома Р, то последняя проблема разрешима.

Существует более изящный и менее сложный интерполяционный алгоритм для решения этой задачи, однако прием с перечислением «пространства гипотез» обладает большей универсальностью. Например, задача синтеза конечных автоматов по результатам экспериментов решается аналогично, причем число примеров, необходимых для стабилизации гипотез, можно подсчитать, если заранее задано количество состояний искомого автомата.

Таким образом, согласно наиболее распространеннй в настоящее время парадигме [Gold, 19671 корректными являются методы генерации гипотез, которые в пределе (при исчерпании всех примеров) приводят к решению задачи. Итеративные процедуры обладают существенно большими вычислительными возможностями, чем обычные алгоритмы. В теории алгоритмов эти процедуры получили название алгоритмов предельных вычислений (АПВ). Функция f(x), вычислимая некоторым АПВ, представима в виде lim F(x, у) при у, где F— некоторая общерекурсивная функция [Фрейвалд, 1974].

Предположение о предельной стабилизации гипотез является основой гипотетико-дедуктивного подхода [Kugel, 1977], согласно которому решение задачи ОП включает четыре этапа:

1) наблюдение: сбор и накопление исходных данных (примеров):

2) обобщение: выдвижение «разумной» гипотезы Н об искомом описании;

3) дедукцию: выдвижение различных следствий из Н или прогнозов на основе ее;

4) подтверждение: проверка прогнозов на совместимость с результатами новых наблюдений—оценка гипотезы Н; если Н подтверждается, то остается в качестве текущей гипотезы и весь процесс повторяется сначала, в противном случае гипотеза Н заменяется новой.

Считается, что описанный процесс находит искомое описание, если оно было выдвинуто в качестве гипотезы при каком-либо прохождении второго этапа и при следующих прохождениях этого этапа не заменялась новой.

В процессе выдвижения гипотез выясняются «разумные» способы выдвижения и критерии подтверждения гипотез.