Multimodal LLMs vs LLMs vs RoBERTa: evaluating AI performance in detecting conspiracies on YouTube

Conspiracy content on YouTube challenges content moderation. This study evaluates large language models (LLMs), both text-only and multimodal, for detecting such content. Using the enriched YouNiCon dataset, we assess LLMs via zero-shot classification and compare them to a fine-tuned RoBERTa baseline. Results show text-based LLMs achieve high recall but lower precision, increasing false positives. Larger models like LLaMA 3.3 70B perform best, while multimodal models underperform compared to similar size text-only models, suggesting limited benefits from incorporating visual elements. Ensemble models offer minor robustness gains, but fine-tuned approaches remain superior. Qualitative error analysis highlights classification challenges due to the potential subjectivity of assigned labels. To evaluate real-world applicability, we applied the best-performing models to an unlabeled dataset. We found that RoBERTa achieved the highest precision while maintaining comparable performance to LLaMA 3.3 70B model, which outperformed Mistral 7B. Future work should improve multimodal integration with additional signals (frames, video data, audio data), deepen investigation on fine-tuned models' performance, and explore alternative labeling strategies to enhance misinformation detection and contribute to a more informed and resilient online ecosystem.

Il contenuto complottista su YouTube pone sfide significative alla moderazione dei contenuti. Questo studio valuta i large language models (LLMs), sia testuali che multimodali, per rilevare tali contenuti. Utilizzando il dataset YouNICon, valutiamo i LLMs attraverso la zero-shot classification e li confrontiamo con un modello RoBERTa fine-tuned. I risultati mostrano che i LLMs testuali raggiungono un recall elevato ma una precision inferiore, aumentando i falsi positivi. I modelli più grandi, come LLaMA 3.3 70B, ottengono le migliori prestazioni, mentre i modelli multimodali risultano meno efficaci rispetto ai corrispondenti testuali, suggerendo benefici limitati dall'integrazione di elementi visivi. I modelli ensemble offrono solo miglioramenti marginali in termini di robustezza, mentre gli approcci fine-tuned rimangono superiori. L'analisi qualitativa degli errori evidenzia le difficoltà di classificazione dovute alla potenziale soggettività delle etichette assegnate. Per valutare l'applicabilità nel mondo reale, abbiamo applicato i modelli migliori a un dataset non etichettato. Abbiamo riscontrato che RoBERTa ha ottenuto la precision più alta, mantenendo prestazioni comparabili a LLaMA 3.3 70B, che ha superato Mistral 7B. Il lavoro futuro dovrebbe migliorare l'integrazione multimodale con segnali aggiuntivi (frame, video data, audio data), approfondire l'analisi delle prestazioni dei modelli fine-tuned e esplorare strategie di etichettatura alternative per potenziare il rilevamento della misinformation e contribuire a un ecosistema online più informato e resiliente.