28. Оптимальний Байєсівський класифікатор;

Любой алгоритм, решающий эту задачу называется оптимальным байесовским классификатором.

Свойства оптимального классификатора:

-он действительно оптимален: никакой др метод не может в среднем превзойти его;

-он может даже классифицировать данные по гипотезам не содержащимся в Н.

-его обычно не получается эффективно реализовать, т.к. нужно перебирать все гипотезы, а их очень много.

Оптимальный Байесовский классификатор (ОБК) дает максимально вероятную классификацию. ОБК комбинирует предсказания всех альтернативных гипотез взвешенные по их апостериорным вероятностям. Для вычисления вероятной классификации нового примера:

Vj – все возможные значения целевой функции

hi – все гипотезы

P(Vj/ hi) – вероятность такого класса при гипотезе hi

P(hi/D) – вероятность того что гипотеза hi верна при наборе данных D

Характеристики ОБК:

+ ОБК выдает лучшую точность, которая может быть получена исходя из обучающих данных.

- ОБК может быть вычислительно сложным для применения (т.к. высчитываются все апостериорные вероятности из множества Н).

29. Алгоритм Гіббса;

Оптимальный Байесовский классификатор (ОБК) дает максимально вероятную классификацию. ОБК комбинирует предсказания всех альтернативных гипотез взвешенные по их апостериорным вероятностям. Для вычисления вероятной классификации нового примера:

Vj – все возможные значения целевой функции

hi – все гипотезы

P(Vj/ hi) – вероятность такого класса при гипотезе hi

P(hi/D) – вероятность того что гипотеза hi верна при наборе данных D

Алгоритм Гиббса является упрощением ОБК для уменьшения вычислительной сложности.

1 Выбираем гипотезу из пространства гипотез случайным образом согласно апостериорному распределению вероятностей P(h/D)

2 Используем эту гипотезу для классификации нового примера.

Ожидаемая ошибка классификатора Гиббса не более чем в 2 раза превышает ошибку ОБК.

30. Алгоритм наївного Байєсу;

Является одним из наиболее широко используемых на практике методов классификации; обладает достаточно высокой точностью; используется в областях, где природа данных точностная; очень простой метод.

Алгоритм (стремительный вариант): При обучении на вход подаются обучающие примеры;

Для каждого значения целевой функции Vj вычисляем: P(Vj)=доле примеров с классами Vj из всех обучающих примеров: для каждого значения атрибута аi каждого атрибута а вычисляем вероятность P(аi /Vj) вычисляется как доля примеров со значением атрибута равным аi и значением класса bj из всех примеров со значением класса bj. Функция классификации:

Возможен и ленивый вариант алгоритма, когда мы заранее не вычисляем никакие вероятности, а считаем необходимые вероятности на стадии классификации. Например, при поступлении примера

<Outlook=Sunny; Temp=Cool; Humid=Hight; Wind=Strong> мы должны вычислить все выражение для класса yes и для класса no, затем сравнить их. То есть вычисляем:

P(yes)*P(Sunny/ yes)*P(Cool/ yes)*P(Hight/yes)*P(Strong/ yes) и

P(no)* P(Sunny/ no)* P(Cool/no)* P(Hight/no)* P(Strong/no). Сравниваем результат.

Если данный класс и значение свойства никогда не встречаются вместе в наборе обучения, тогда оценка, основанная на вероятностях, будет равна нулю. Возникает проблема, так как при перемножении нулевая оценка приведет к потере информации о других вероятностях. Решение: ввести вместо нуля формулу: n/k(?),где n- кол-во примеров, k-возможные значения атрибута.