26. Теорема Байєса та її застосування в машинному навчанні;

В машинном обучении основной задачей является определение наилучшей гипотезы в пространстве гипотез H, учитывая обучающую выборку D. Под наилучшей гипотезой подразумевается наиболее вероятная гипотеза при имеющихся данных D и исходных знаниях о вероятности гипотезы H. Теорема Байеса обеспечивает вычисление такой вероятности гипотезы. Теорема Байеса дает возможность расчета апостериорной вероятности P(h|D), исходя из априорной P(h). Теорема Байеса, где D – примеры из обучающей выборки; h – пространство гипотез; P(D|h) — апостериорная вероятность того, что такие данные будут в выборке при условии существования гипотезы h; P(h) — априорная вероятность гипотезы h; P(D) — априорная вероятность всех примеров. Наиболее вероятная гипотеза h H, с учетом обучающей выборки D, называется максимальной апостериорной гипотезой.

В случае, когда P(h) — априорная вероятность гипотезы h для всех гипотез одинакова, возможно упрощение формулы, и для нахождения наиболее вероятной гипотезы нам потребуется только P(D | h). P(D | h) часто называют maximum likelihood гипотезой.(hML):

Вообще, теорема Байеса значительно шире, чем мы указали выше, она может применяться к любым выборкам, значения которых суммируются в единицу. Она широко употребляется для медицинского диагностирования, обработки спама и др. задач.

К числу основных байесовских методов классификации относятся:

1) Bayes Optimal Classifier – классификатор, который определяет наиболее вероятную классификацию примера, объединяя предусмотрение всех гипотез, взвешивая их по их апостериорным вероятностям;

2) Naive Bayes Classifier - вероятностный классификатор, основанный на применении Теоремы Байеса со строгими предположениями о независимости атрибутов;

3) Gibbs Algorithm – алгоритм, которые предполагает выбор наиболее вероятной гипотезы h из пространства гипотез H случайным образом;

4) Bayesian Belief Network – метод классификации, описывающий распределение вероятностей по определенному множеству переменных путем определения множества условно независимых предположений вместе с множеством условных зависимостей.

27. Обчислення умовних та безумовних ймовірностей;

Априорная или безусловная вероятность, связанная с некоторым событием A, представляет собой степень уверенности в том, что данное событие произошло, в отсутствии любой другой информации, связанной с этим событием. Термин априорная указывает на то, что предположение о классе объекта делается без каких либо предварительно заданных условий. Например, предположение о том, что плод – яблоко, может быть сделано безотносительно его формы, цвета и других признаков. Это и будет априорной вероятностью данного события. Фактически, априорные вероятности – это вероятности классов в множестве данных, она вычисляется как отношение числа примеров данного класса к общ числу примеров мн-ва. E.g. if из 100 примеров 25 имеют метку класса C, то априорная В класса будет 25/100=0,4.

Апостериорная вероятность - условная вероятность случайной переменной, которая назначается после принятия во внимание новой информации, имеющей отношение к данной переменной, т.е. это вероятность некоторого события А при условии, что произошло другое событие B. Например, при условии, что плод красный и круглый, мы с большой вероятности можем предположить, что это яблоко, т.е. апостериорная вероятность данного события будет P(яблоко|красный, круглый).

Формула апостериорной вероятности:

где D – примеры из обучающей выборки; h – пространство гипотез; P(D | h) — апостериорная вероятность того, что такие данные будут в выборке при условии существования гипотезы h; P(h) — априорная вероятность гипотезы h; P(D) — априорная вероятность всех примеров.

Наиболее вероятная гипотеза h H, с учетом обучающей выборки D, называется максимальной апостериорной гипотезой. В случае, когда P(h) — априорная вероятность гипотезы h для всех гипотез одинакова, возможно упрощение формулы, и для нахождения наиболее вероятной гипотезы нам потребуется только P(D | h). P(D | h) часто называют maximum likelihood гипотезой.(hML):