2сем / лек / Л3 -О задачах машинного обучения (2)

Обучение с учителем. Классификация

Задача классификации – распределение некоторого множества объектов по заданному множеству групп (классов). При этом есть некоторое подмножество объектов, для которых распределение по классам известно, классовая принадлежность остальных – неизвестна.

Классификация:

–Значения y дискретны (принимают несколько заранее определённых значений, классов)

–Альтернативная постановка: предсказать вероятности определённых классов

–Пример: предсказание состояния хроматина, сайта связывания TF, растворимости химического вещества, пола, спам/не спам, вероятность ухода сотрудника/клиента

Классификация: Популярные методы

●Логистическая регрессия

●Машина опорных векторов (Support vector machine, SVM)

●Наивный Байес

●Деревья решений

●Нейросети

●Ансамбли (Random Forests, Gradient Boosted Trees)

●k-NN

11

Обучение с учителем. Регрессия

Задача регрессии

Задача регрессии – приближение неизвестной целевой зависимости на некотором множестве данных. То есть решить задачу регрессии – значит найти алгоритм, обладающий способностью к обобщению эмпирических фактов (способностью к выводу общих знаний из частных

наблюдений, прецедентов).

Регрессия: Примеры

●Прогнозирование уровня экспрессии гена;

●Предсказание цены дома по его характеристикам;

●Предсказание спроса на товар на ближайший месяц;

●Предсказание уровня воды в водохранилище;

●Предсказание температуры воздуха.

Регрессия: Методы

●Линейная регрессия (в том числе множественная);

●Регрессионные деревья;

●Регрессия через SVM;

●Нейросети;

●и т.п.

12

Обучение с учителем. Ранжирование

Задача ранжирования

Задача регрессии — это класс задач машинного обучения с учителем, заключающихся в автоматическом подборе ранжирующей модели по обучающей выборке, состоящей из множества списков и заданных частичных порядков на элементах внутри каждого списка.

Методы ранжирования

Всего выделяют три подхода к решению задачи ранжирования:

•поточечный (англ. pointwise),

•попарный (англ. pairwise),

•списочный (англ. listwise).

Выбор метода зависит от качества ранжирования данных. Теоретически, списочный подход считается наилучшим, однако, на практике, например в Яндексе, лучше всего работает попарный подход.

13

Обучение с учителем. Способы обучения и оценки его качества

1. Средняя ошибка представляет собой усреднение ошибок для каждого образца и вычисляется

по формуле: n

(yi − yi )

CO = i=1

n

2. Средняя абсолютная ошибка представляет собой усреднение абсолютных ошибок на каждом шаге и вычисляется по формуле:

14

Обучение с учителем. Способы обучения и оценки его качества

3. Среднеквадратическая ошибка вычисляется как сумма средних квадратов ошибок. Формула:

4. Корень из среднеквадратической ошибки вычисляется по формуле:

5. Средняя относительная ошибка вычисляется как среднее относительных ошибок:

15

Обучение с учителем. Способы обучения и оценки его качества

6. Средняя абсолютная относительная ошибка вычисляется как среднее относительных ошибок по модулю:

7. Симметричная средняя абсолютная относительная ошибка вычисляется как:

16

Обучение без учителя. Уменьшение размерности

Задача кластеризации

Уменьшение размерности используется для уменьшения размеров набора данных и ускорения последующего алгоритма машинного обучения. Он удаляет шум и избыточные функции, и это улучшает общую производительность алгоритма.

Существует несколько методов уменьшения размерности, в том числе:

1.Анализ основных компонентов (PCA);

2.Линейный дискриминантный анализ (LDA);

3.t-SNE (t-распределенное стохастическое встраивание соседей);

4.Автоэнкодеры;

Применение уменьшения размерности в машинном обучении:

1.Визуализация;

2.Выбор функций;

3.Обнаружение аномалий;

4.Кластеризация;

18