text_lab2

print(classification_report(stem_test.target, prediction))

Так как значения метрик были выше при использовании стемминга, далее будем рассматривать модель с наличием стемминга.

15) Взвешивание TF при стемминге и отсечении стоп-слов; число информативных признаков

10000:

text_clf = Pipeline([('vect', CountVectorizer(max_features= 10000, stop_words = 'english')),

('tf', TfidfTransformer(use_idf = False)), ('clf', MultinomialNB ()),])

text_clf = text_clf.fit(stem_train.data_stem, stem_train.target) prediction = text_clf.predict(stem_test.data_stem)

print('Accuracy score: ', accuracy_score(prediction, stem_test.target)) print(classification_report(stem_test.target, prediction))

Так как значения метрик были выше при использовании отсечения стоп-слов, далее будем рассматривать модель с отсечением стоп-слов.

16)Взвешивание TF при стемминге и отсечении стоп-слов; число информативных признаков

5000:

31

print('Accuracy score: ', accuracy_score(prediction, stem_test.target)) print(classification_report(stem_test.target, prediction))

17)Взвешивание TF при стемминге и отсечении стоп-слов; число информативных признаков

15000:

print('Accuracy score: ', accuracy_score(prediction, stem_test.target)) print(classification_report(stem_test.target, prediction))

18)Взвешивание TF при стемминге и отсечении стоп-слов; число информативных признаков

20000:

text_clf = Pipeline([('vect', CountVectorizer(max_features= 20000, stop_words = 'english')),

('tf', TfidfTransformer(use_idf = False)), ('clf', MultinomialNB ()),])

text_clf = text_clf.fit(stem_train.data_stem, stem_train.target) prediction = text_clf.predict(stem_test.data_stem)

print('Accuracy score: ', accuracy_score(prediction, stem_test.target)) print(classification_report(stem_test.target, prediction))

Accuracy score: 0.840887174541948

precision recall f1-score support

32

Так как значения метрик были выше при использовании числа информативных признаков 5000, наилучшая модель с взвешиванием TF - при стемминге и отсечении стоп-слов с числом информативных признаков 5000.

Сравним результаты, полученные с помощью лучшей модели каждого из трех методов взвешивания:

Из таблицы видно, что наибольшие значения метрик достигаются при модели № 6 - с взвешиванием Count при стемминге и отсечении стоп-слов с числом информативных признаков 20000.

33