Вопрос 47: Парадигмы обучения инс (с учителем и без учителя)

1. Введение: что такое обучение нейронной сети?

Обучение нейронной сети — это процесс настройки её параметров (весов и смещений) таким образом, чтобы сеть наилучшим образом решала поставленную задачу. В зависимости от того, какие данные доступны и как формулируется цель, выделяют различные парадигмы обучения.

Основные парадигмы:

• Обучение с учителем (Supervised Learning)

• Обучение без учителя (Unsupervised Learning)

• Обучение с подкреплением (Reinforcement Learning) — часто рассматривается отдельно.

2. Обучение с учителем (Supervised Learning)

2.1. Определение

Обучение с учителем — это парадигма, при которой модель обучается на размеченных данных. Для каждого примера из обучающей выборки известен правильный ответ (метка, целевое значение). Задача модели — научиться предсказывать этот ответ по входным данным.

Роль "учителя" выполняют размеченные данные, которые показывают модели, какой ответ является правильным.

2.2. Формальная постановка

Дано:

• Множество входных данных X={x1,x2,...,xn}X={x1​,x2​,...,xn​}

• Множество соответствующих целевых значений (меток) Y={y1,y2,...,yn}Y={y1​,y2​,...,yn​}

Необходимо найти функцию ff, которая наилучшим образом аппроксимирует отображение X→YX→Y:

f(x)≈yf(x)≈y

2.3. Типы задач в обучении с учителем

Тип задачи	Цель	Примеры
Классификация	Отнести объект к одной из дискретных категорий	Распознавание рукописных цифр (0-9), определение спама (спам/не спам), диагностика заболевания по снимку
Регрессия	Предсказать непрерывное числовое значение	Прогноз цены квартиры, предсказание температуры на завтра, оценка стоимости автомобиля

2.4. Как происходит обучение

1. Прямой проход (forward pass): Входные данные подаются на вход сети, вычисляется выход.

2. Вычисление ошибки (loss): Сравнивается выход сети с правильным ответом с помощью функции потерь (например, среднеквадратичная ошибка для регрессии, кросс-энтропия для классификации).

3. Обратное распространение ошибки (backpropagation): Ошибка распространяется от выхода к входу, вычисляются градиенты функции потерь по всем весам.

4. Обновление весов: Веса корректируются в направлении, противоположном градиенту (градиентный спуск), чтобы уменьшить ошибку.

5. Повторение для всех примеров или мини-пакетов (эпох) до сходимости.

2.5. Примеры алгоритмов и архитектур

• Линейная регрессия, логистическая регрессия

• Деревья решений, случайный лес, градиентный бустинг (XGBoost, CatBoost)

• Метод опорных векторов (SVM)

• Нейронные сети:

  • Многослойный перцептрон (MLP) для табличных данных

  • Свёрточные нейронные сети (CNN) для изображений

  • Рекуррентные нейронные сети (RNN, LSTM) для последовательностей (текст, временные ряды)

2.6. Достоинства и недостатки

Достоинства	Недостатки
Высокая точность при достаточном количестве размеченных данных	Требуется размеченная выборка, что дорого и трудоёмко
Чёткая постановка задачи	Может переобучаться (overfitting), если данных мало
Широкий спектр прикладных задач	Плохо обобщается на данные, не похожие на обучающие