4. Когда нужно машинное обучение, а когда — классическое программирование?

4.1. Машинное обучение стоит применять, когда:

• Задачу сложно или невозможно формализовать в виде чётких правил.

  • Пример: распознавание рукописного текста, лиц, голоса.

• Закономерности скрыты в данных и их трудно выделить вручную.

  • Пример: прогнозирование оттока клиентов, определение мошеннических транзакций.

• Условия задачи меняются и модель нужно адаптировать под новые данные.

  • Пример: рекомендательные системы (YouTube, Netflix) — предпочтения пользователей меняются.

• Есть много данных и нужно извлечь из них пользу.

  • Пример: анализ медицинских снимков.

4.2. Классическое программирование лучше, когда:

• Задача хорошо формализована и правила чётки.

  • Пример: расчёт заработной платы, проверка возраста.

• Данных мало или они некачественные.

• Требуется стопроцентная точность и объяснимость (в машинном обучении часто есть погрешность).

  • Пример: управление ядерным реактором, авионика.

• Задача простая и не стоит усложнять.

5. Основные компоненты машинного обучения

5.1. Данные (Data)

Это основа ML. Данные делятся на:

• Обучающая выборка (training set) — на ней модель учится.

• Валидационная выборка (validation set) — для настройки гиперпараметров.

• Тестовая выборка (test set) — для финальной оценки качества.

Данные могут быть:

• Размеченные (labeled) — для каждого примера известен правильный ответ (обучение с учителем).

• Неразмеченные (unlabeled) — только входные данные, ответов нет (обучение без учителя).

5.2. Модель (Model)

Математическая структура с параметрами, которые настраиваются в процессе обучения. Примеры моделей:

• Линейная регрессия

• Деревья решений

• Нейронные сети

• Метод опорных векторов (SVM)

5.3. Функция потерь (Loss Function)

Числовая метрика, показывающая, насколько сильно предсказания модели отличаются от правильных ответов. Чем меньше значение, тем лучше модель. Задача обучения — минимизировать функцию потерь.

5.4. Алгоритм оптимизации (Optimizer)

Метод, который обновляет параметры модели, чтобы уменьшить функцию потерь. Самый известный — градиентный спуск (Gradient Descent).

6. Типы машинного обучения

6.1. Обучение с учителем (Supervised Learning)

Модель обучается на размеченных данных: для каждого примера известен правильный ответ.

Задачи:

• Классификация — отнесение объекта к одной из категорий (спам/не спам, кошка/собака).

• Регрессия — предсказание числового значения (цена квартиры, температура завтра).

Примеры алгоритмов: Линейная регрессия, логистическая регрессия, деревья решений, случайный лес, метод опорных векторов, нейронные сети.

6.2. Обучение без учителя (Unsupervised Learning)

Модель обучается на неразмеченных данных, ищет скрытые структуры и закономерности.

Задачи:

• Кластеризация — разбиение объектов на группы (сегментация клиентов).

• Поиск ассоциативных правил — выявление часто встречающихся вместе объектов (анализ покупательской корзины).

• Уменьшение размерности — сжатие данных с минимальной потерей информации (PCA).

Примеры алгоритмов: K-средних (K-means), иерархическая кластеризация, Apriori, автокодировщики.

6.3. Обучение с подкреплением (Reinforcement Learning)

Агент обучается взаимодействовать со средой, получая награду или штраф за свои действия. Цель — максимизировать суммарную награду.

Примеры: Игры (AlphaGo), управление роботами, оптимизация трафика.