Klasyfikacja długich dokumentów za pomocą architektury Transformer. Zastosowanie w wykrywaniu wiadomości stronniczych

Abstract

Wpracy przedstawiono dwie możliwości klasyfikacji artykułów skrajnie stronniczych. Obie metody bazowały na modelu uczenia głębokiego BERT autorstwa zespołu Google AI Language. Rozwiązanie A, mimo dodatkowego treningu BERT, rekomendowanego przez autorów, we wszystkich miarach ewaluacji wypadło gorzej od B, co pokazuje tabela 5.1. Zastosowana sieć gęsta 768 × 2 nie radziła sobie z klasyfikacją wektora [CLS] tak dobrze jak las losowy. Mimo, że oba rozwiązania skutkowały wyższą dokładnością w przypadku użycia dłuższego fragmentu, to już procent nałożenia cechowała zależność odwrotnie proporcjonalna. Również najwydajniejsza metoda agregacji wyników cząstkowych okazała się być różna w A i B.