9. Теорема подання простору версій (Version space representation theorem);

Пускай Х будет произвольным набором примеров, а Н набором гипотез булевых значений, определенных над X. Пусть C: X -> {0,1} будет произв. целевым концептом, опред. над X, и пусть D будет произв. набором учебных примеров {{x, c(x)}}. Для всех X, H, C и D, такой, что S и G четко определены.

Доказательство:

Для док-ва теоремы достаточно показать, что (1) каждый h, удовлетворяет правую сторону вышеуказанные выражения в пространстве версий, и (2) каждый член пространства версий удовлетворяет выражение справа. Пускай g произвольный член G, s произвольный член S, h произв. член H, такие что g >=_g h >= _g s. Тогда с определения S, s должно удовлетворять все позитивные примеры в D. Так как h >= _g s, h должны удовлетворять все позитивные примеры в D. Так же по определению G, g не может удовлетворять любой негативный пример в D, и так как g >= _g h, h не может удовлетворять любой негативный пример в D. Поскольку h удовлетворяет все позитивные примеры в D и не удовлетворяет негативные примеры в D, h входит в D и поэтому h входит в пространство версий. Это доказывает шаг (1). Аргументация для (2) сложнее. Это может быть доказано, если допустить что h в простр-ве версий (V S _H,D) не удовлетворяет правую сторону выражения, что приведет к непоследовательности.

10. Алгоритм Find-s;

Идея: начиная с самой частной гипотезы, обобщаем ее каждый раз, когда ей не удается покрыть рассматриваемый положительный обучающий пример. На выходе: одна самая частная гипотеза совместимая с обучающей выборкой.

Инициализируем Н самой частной гипотезы из множества Н;

Цикл for each: положительного обучающего примера Х

For each ограничения атрибута a_i в h

if a_i в h не удовлетворяет примеру Х, тогда заменяем a_i на следующее более общее ограничение, которое удовлетворяет примеру Х

Выдаем полученную гипотезу h.

Недостатки Find-S: Игнорирует отрицательные примеры, не обязательно выдает окончательный концепт, не сигнализирует о том, что обучающие примеры могут быть несовместимыми (противоречивыми).

11. Алгоритм Candidate-elimination;

Алгоритм работает с граничным (S и G) пространством версий. На каждом шаге получает границы, которые соответствуют новому пространству версий, совместимом со всеми предыдущими примерами и текущим новым обучающим примером.

На выходе алгоритма получаем пространство версий в компактном представлении.

Для положительного примера алгоритм при необходимости обобщает S-границу минимально для того, чтобы покрыть новый обучающий пример и остаться совместимой с предыдущими обучающими примерами. А также исключает те гипотезы в G-границе, которые не покрывают новый пример.

Для отрицательного примера алгоритм при необходимости конкретизирует G-границу минимально для того, чтобы она не покрывала новый пример, оставаясь совместимой с предыдущими, а также удаляет из S-границы гипотезы, которые ошибочно покрывают текущий негативный пример.

Алгоритм Candidate-elimination:

1. Инициализируем границу G максимально общей гипотезой, а границу S максимально частной гипотезой.

2. Цикл for each обучающих примеров:

if пример d положительный

- исключаем из границы G все гипотезы, несовместимые с примером d;

- for each гипотезы s в границе S, несовместимой с примером d:

- исключаем несовместимую гипотезу из границы;

- add в границу S все мин обобщения h гипотезы s, такие что совместимые с d и нек гипотезы в границе G являются более общими, чем гипотеза h;

- исключаем из полученной границы S все гипотезы, более общие, чем другие;

if пример d отрицательный

- исключаем из границы S все гипотезы, несовместимые с примером d;

- for each гипотезы g в границе G, несовместимой с примером d:

- исключаем несовместимую гипотезу из границы;

- add в G все мин конкретизации h гипотезы g, такие что совместимые с примером d и нек др гипотезы в границе S явл более частными, чем гипотеза h;

- исключаем из получ границы G все гипотезы, кот явл менее общими, чем др.

3. Выводим S и G.

Алгоритм не работает с зашумленными и противоречивыми данными. В случае противоречивых данных мы получим истощение пространства гипотез. Оно происходит, когда исчезает хотя бы одна из границ.