Auditing exposure to harmful content on TikTok using multimodal language models: a cross-national, age-stratified study

Online video platforms can expose young users to harmful content, but independent audits remain difficult because video annotation is costly and moderation judgments vary across languages. We audit TikTok in France, Italy, and Sweden with sockpuppet accounts representing four age personas (13, 16, 19, 40), collecting 36,971 videos from passive For-You-page scrolling and active sessions that scroll, search for harm keywords, and scroll again. To scale annotation, we validate four multimodal LLMs against native-speaker labels on a 300-video reference set. Gemini 2.5 Flash with eight sampled frames plus text performs best (aggregate κ = 0.42), at half the per-call cost of native-video upload, and we apply it to a 10% sample for approximately $50 in total API spend across both modalities. Keyword search returns 35–56% harmful content, a 1.5–7.5× increase over the scrolling baseline in ten of twelve country–age combinations; the spike is temporary and flattens the age differences observed in France and Sweden. Under passive scrolling, Italy has the highest harm rate at every age, with Italian age-19 reaching 48.6%. Overall, MLLM-based auditing offers a scalable approach for cross-national youth-safety audits, while provider safety filters (1.1% refusal rate) under-count the most explicit harms.

Le piattaforme di video online possono esporre gli utenti più giovani a contenuti dannosi, ma gli audit indipendenti restano difficili perché l'annotazione di video su larga scala è costosa e i giudizi di moderazione variano da una lingua all'altra. In questa tesi conduciamo un audit di TikTok in Francia, Italia e Svezia tramite account sockpuppet che rappresentano quattro fasce d'età (13, 16, 19, 40 anni), raccogliendo 36.971 video da sessioni passive di scorrimento del For-You feed e da sessioni attive che alternano scorrimento, ricerca di parole chiave dannose e scorrimento successivo. Per scalare l'annotazione validiamo quattro modelli linguistici multimodali (MLLM) rispetto a etichette prodotte da annotatori madrelingua su un sottoinsieme di riferimento di 300 video. Gemini 2.5 Flash con otto fotogrammi campionati uniformemente più testo ottiene il risultato migliore (κ aggregato = 0,42), a un costo per chiamata circa dimezzato rispetto al caricamento del video nativo; lo applichiamo poi a un campione del 10% per una spesa complessiva di circa 50 $ in chiamate API tra le due modalità. La ricerca per parole chiave restituisce il 35–56% di contenuti dannosi, con un incremento di 1,5–7,5× rispetto al baseline di scorrimento in dieci delle dodici combinazioni paese–età; il picco è temporaneo e annulla le differenze d'età osservate in Francia e Svezia. Sotto scorrimento puramente passivo, l'Italia presenta il tasso di contenuto dannoso più alto in ogni fascia d'età, con il profilo italiano a 19 anni che raggiunge il 48,6%. Nel complesso, l'audit basato su MLLM offre un approccio scalabile per audit cross-nazionali sulla sicurezza dei minori, mentre i filtri di sicurezza del provider (tasso di rifiuto dell'1,1%) sottostimano i contenuti più espliciti.