Скачиваний:
6
Добавлен:
04.05.2025
Размер:
314 Кб
Скачать
☆

1 Примеры программных средств, автоматизирующих решение задачи классификации текста

Задача классификации текста является одной из наиболее востребованных в области обработки естественного языка, и существует множество программных средств, позволяющих автоматизировать этот процесс. В данном разделе рассмотрим несколько основных подходов и инструментов.

Традиционные методы классификации текста в основном опираются на статистические подходы и классические алгоритмы машинного обучения. Они требуют значительной предварительной обработки текста, включая векторизацию с использованием методов "мешка слов" (англ. Bag of Words, BoW) или взвешивания TF-IDF (Частота термина-Обратная частота документа, англ. Term Frequency-Inverse Document Frequency). После этого применяются такие алгоритмы, как наивный байесовский классификатор, метод опорных векторов или случайный лес (Кузьмина and Горюнов, 2024).

Библиотека NLTK (Инструментарий естественного языка, англ. Natural Language Toolkit) представляет собой один из старейших инструментов для работы с текстовыми данными на языке Python. NLTK предоставляет широкие возможности для предобработки текста, однако для задач классификации ограничивается традиционными методами машинного обучения, что может быть недостаточно для сложных задач с многозначным контекстом (Bird et al., n.d.).

Другим популярным инструментом является библиотека spaCy, которая разработана с акцентом на производительность и простоту использования. SpaCy предоставляет более современные методы обработки текста и включает в себя предобученные модели для различных языков, но в классических версиях не реализованы модели на основе архитектуры трансформер (Montani et al., 2023).

Революционный прорыв в области классификации текста произошел с появлением библиотеки Transformers от Hugging Face, которая предоставляет доступ к множеству предобученных моделей на основе архитектуры трансформер, включая BERT, GPT (Генеративный предварительно обученный трансформер, англ. Generative Pre-trained Transformer), T5 (Текст-в-текст передаточный трансформер, англ. Text-to-Text Transfer Transformer) и другие (Wolf et al., 2020).

Таблица 1 отражает основные технические характеристики и производительность различных подходов к классификации. Данные для таблицы были получены на основе результатов исследований, опубликованных в работах (Devlin et al., n.d.; Liu et al., 2019; Mu et al., 2024; Raffel et al., 2023; Zmitrovich et al., 2024). Все показатели измерены на стандартном бенчмарке SST-2 (Стэнфордское дерево настроений, англ. Stanford Sentiment Treebank) для задачи бинарной классификации тональности текста (Raffel et al., 2023).

Таблица 1 – Сравнение различных подходов классификации текста на бенчмарке SST-2

Метод классификации

Точность

(Accuracy)

Размер модели

(Количество весов нейронной сети)

Время обучения

Метод обработки

Традиционные методы

(NLTK, Scikit-learn)

78.60%

0.1 млн

5 мин (CPU)

Мешок слов

(без учета порядка)

SpaCy

81.70%

0.5 млн

15 мин (CPU)

Векторные представления

(TF-IDF)

BERT (base)

93.50%

110 млн

40 мин (GPU)

Двунаправленные

контекстные эмбеддинги

RoBERTa (base)

94.80%

125 млн

45 мин (GPU)

Улучшенные контекстные

эмбеддинги

DistilBERT

92.70%

66 млн

25 мин (GPU)

Дистиллированные

контекстные эмбеддинги

BiLSTM + Word2Vec

85.30%

2 млн

30 мин (GPU)

Последовательные

эмбеддинги (без

механизма внимания)

DeBERTa-v3 (large)

96.80%

304 млн

60 мин (GPU)

Разделенный механизм

внимания

Все представленные в таблице модели являются бесплатными с открытым исходным кодом и могут быть использованы как для исследовательских, так и для коммерческих целей.

Рассмотрим подробнее методы обработки текста, указанные в таблице:

Мешок слов (англ. Bag of Words) – метод представления текста в виде неупорядоченного набора слов без учета грамматики и порядка, где каждому слову соответствует его частота в документе . Этот подход не учитывает контекст и взаимное расположение слов, что ограничивает его применимость для сложных задач (Кузьмина and Горюнов, 2024).

N-граммы – последовательности из n соседних элементов текста (слов, символов), позволяющие частично учитывать контекст. Этот метод улучшает представление текста по сравнению с мешком слов, но все еще не способен улавливать зависимости на больших расстояниях (Raffel et al., 2023).

Двунаправленные контекстные эмбеддинги – представления слов, учитывающие контекст как слева, так и справа от целевого слова. BERT использует данный подход, обучаясь предсказывать маскированные слова, что позволяет модели эффективно улавливать семантические и синтаксические зависимости в тексте (Devlin et al., n.d.).

Улучшенные контекстные эмбеддинги – усовершенствованные версии двунаправленных эмбеддингов, используемые в RoBERTa (Робастно оптимизированный BERT, англ. Robustly Optimized BERT pretraining Approach). Основные улучшения включают более тщательную предобработку данных, динамическое маскирование и обучение на больших объемах данных, что повышает качество представления текста (Liu et al., 2019).

Дистиллированные контекстные эмбеддинги – эмбеддинги, полученные в результате дистилляции знаний из большой модели в меньшую. DistilBERT (Дистиллированный BERT, англ. Distilled BERT) использует данный подход для сохранения качества представления текста при значительном уменьшении размера модели (Sanh, 2020).

Последовательное представление без механизма внимания – метод обработки текста в BiLSTM (Двунаправленная долгая краткосрочная память, англ. Bidirectional Long Short-Term Memory), где слова обрабатываются последовательно с учетом предыдущего контекста, но без прямого моделирования взаимосвязей между всеми словами. Этот подход эффективнее традиционных методов, но уступает трансформерам в способности улавливать зависимости на больших расстояниях (Warner et al., 2024).

Как видно из таблицы, модели на основе архитектуры трансформер (BERT, RoBERTa, DistilBERT) значительно превосходят традиционные методы и глубокие нейронные сети без предобучения по точности классификации. Наивысшую точность на бенчмарке SST-2 демонстрирует RoBERTa (94.8%), за ней следуют BERT (93.5%) и DistilBERT (92.7%).

Трансформеры также требуют существенно меньше размеченных данных для достижения высокой точности. Так, для достижения точности более 85% моделям BERT и RoBERTa требуется всего 6-8 тысяч примеров, в то время как традиционным методам необходим полный набор данных из 67 тысяч примеров (Dodge et al., 2020). Однако превосходство в точности сопровождается более высокими вычислительными затратами. Оптимальным компромиссом является использование дистиллированных моделей, таких как DistilBERT, которые сохраняют высокую точность, но имеют более высокую скорость работы (Sanh, 2020).