Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / Lecture_4
.pdf
Повторяем описанную процедуру для каждого электронного письма в нашей
коллекции и получаем 10 000 векторов признаков (каждый вектор имеет
размерность 20 000) и меток («спам»/«не_спам»).
«Теперь у нас есть машиночитаемые входные данные, но выходные метки попрежнему имеют вид простого текста. Некоторые алгоритмы обучения
требуют преобразования меток в числа. Например, некоторые алгоритмы
требуют использовать числа 0 (для представления метки «не_спам») и 1 (для
представления метки «спам»). D
Модель машинного обучения, которую мы сейчас используем для
иллюстрации обучения с учителем, называется методом опорных векторов
(Support Vector Machine, SVM). Она требует, чтобы положительная метка (в
данном случае «спам») имела числовое значение +1 (один), а отрицательная
метка («не_спам») имела значение –1 (минус один).
Теперь у нас есть набор данных и алгоритм обучения и мы готовы применить
(1)x(1)
+ w
(2)x(2)
+ … + w
(D)x(D)
алгоритм обучения к набору данных, чтобы получить модель.D
SVM рассматривает каждый вектор признаков как точку в многомерном
пространстве (в данном случае пространство имеет 20 000 измерений). Алгоритм
помещает все векторы признаков на воображаемый 20 000-мерный график и
рисует воображаемую 19 999-мерную линию (гиперплоскость), которая отделяет
данные с положительными метками от данных с отрицательными метками.
Граница, разделяющая данные разных классов, в машинном обучении
называется границей принятия решения.D
Уравнение гиперплоскости задается двумя параметрами: вещественным
вектором той же размерности, что и входной вектор признаков , и
действительным числом b, например:D
D
где выражение означает , а — число
измерений в векторе признаков
«Теперь прогнозируемую метку для некоторого входного вектора признаков x
y = sign(wx − b)
f(x)
f(x) = sign(w * x − b*)
можно выразить так:D
,D
где — это математический оператор, принимающий произвольное значение
и возвращающий +1, если входное значение является положительным числом, и
–1, если входное значение является отрицательным числом.D
Цель алгоритма обучения, в данном случае SVM, используя набор данных,
найти оптимальные значения и для параметров и b. После того как
алгоритм обучения найдет эти оптимальные значения, модель будет
определяться как:D
.D
Чтобы с помощью модели SVM предсказать, является ли электронное письмо
спамом или нет, вы должны взять текст письма, преобразовать его в вектор
признаков, затем умножить этот вектор на , вычесть b* и взять знак
результата. Это даст нам прогноз (+1 означает «спам», а –1 означает «не_спам»).D
Но как машина находит и ? D
i
, yi)
iyi
i
− b ≥ + 1
yi= + 1
i
− b ≤ + 1
yi= − 1
Она решает задачу оптимизации. Машины хорошо справляются с оптимизацией
функций в условиях ограничений.D
Какие ограничения должны удовлетворяться здесь? D
Прежде всего, модель должна правильно предсказывать метки имеющихся 10 000
данных. D
Каждый образец задается парой , где — вектор признаков -го
образца, а — его метка, которая принимает значение –1 или +1. D
Ограничения выглядят следующим образом:D
, если ,D
, если .D
Желательно также, чтобы гиперплоскость отделяла положительные данные от
отрицательных с максимальным зазором.
Зазор — это расстояние между ближайшими образцами двух классов, отделяемых
границей принятия решения. Большой зазор способствует лучшему обобщению, то
есть тому, насколько хорошо модель будет классифицировать новые данные
Для максимизации зазора нужно минимизировать евклидову норму w,
Σ
D
j−1
(wj)
2
i
− b ≥ 1
i
− b ≥ 1
которая обозначается как и определяется выражением D
Машина должна решить задачу оптимизации, которая формулируется так:D
Минимизировать с учетом для . Выражение
— это всего лишь компактная запись двух ограничений выше.D
Решение этой задачи оптимизации, обозначенной параметрами и ,
называется статистической моделью, или просто моделью. Процесс
построения модели называется обучением.D
Для двумерных векторов задачу и решение можно представить визуально.
Синие и оранжевые точки представляют положительные и отрицательные
образцы соответственно, а линия, заданная уравнением wx – b = 0,
представляет границу принятия решения.
Почему минимизация нормы дает в
2
∥ w ∥
результате наибольший зазор между
двумя классами? D
Геометрически уравнения
и определяют две
параллельные гиперплоскости, как
показано на рисунке. Расстояние
между этими гиперплоскостями равно
, поэтому чем меньше норма
, тем больше расстояние между
этими двумя гиперплоскостями.
Так работает метод опорных векторов (SVM). Эта конкретная версия алгоритма
строит так называемую линейную модель. Она называется линейной, потому
что граница принятия решения — это прямая линия (или плоскость, или
гиперплоскость).D
«МозгX— самый невероятный орган. Именно он определяет, как мы
воспринимаем всё, что видим, слышим, обоняем, пробуем наXвкус
иXосязаем. Он позволяет хранить воспоминания, испытывать эмоции
иXдаже мечтать. Без мозга мыXбылиXбы примитивными организмами,
способными лишь на простейшие рефлексы. ВXцелом онXделает
человека разумным.»
«Мозг ребенка весит меньше полукилограмма, ноXкак-то
решает задачи, пока недоступные даже самым большим
иXмощным компьютерам. Всего через несколько месяцев
после рождения дети способны распознавать лица
родителей, отделять объекты отXфона иXдаже различать
голоса. ЗаXпервый год уXних развивается интуитивное
понимание естественной физики, они учатся видеть, где
находятся частично или полностью скрытые отXних объекты,
и ассоциировать звуки сXих значениями. Уже вXраннем
возрасте они наXвысоком уровне овладевают грамматикой,
аXвXих словаре появляются тысячи слов1.»
«Десятилетиями мыXмечтаем оXсоздании разумных машин
сXтакимXже мозгом, как уXнас: роботов-помощников для
уборки вXдоме; машин, которые управляют собой сами;
микроскопов, автоматически выявляющих болезни. D
«Для решения таких задач нужен совсем иной подход.
Многое изXтого, что мы усваиваем вXшколе, похоже на
стандартные компьютерные программы. МыXучимся
перемножать числа, решать уравнения иXполучать
результаты, следуя инструкциям. НоXнавыки, которые
мыXполучаем вXсамом юном возрасте иXсчитаем самыми
естественными, усваиваются не изXформул, а наXпримерах.»D
Соседние файлы в папке ML - Коротков (2 сем, мага)