UMABOT-CTI: undercover multi-agent chatbot for cyber threat intelligence collection on surface web and dark web platforms

Online platforms, such as forums and messaging applications on the surface and dark web, allow users to communicate with each other while ensuring high levels of privacy and anonymity. The continuous evolution of security systems and anonymization technologies makes these environments particularly attractive to cybercriminals, who exploit anonymity to share, either for free or for a fee, information such as sensitive data leaks, zero-day vulnerabilities, ransomware, exploits, and illegal services, causing significant damage to targeted users and organizations. Law enforcement agencies conduct proactive monitoring operations to identify and counter such illegal activities, acquiring knowledge through the use of Open Source Intelligence (OSINT) and Cyber Threat Intelligence (CTI). These approaches allow the collection, analysis, and correlation of information from these open-source platforms, enabling the adoption of preventive measures to identify, block, and limit the damage resulting from potential cyberattacks before they occur. This research aims to overcome the limitations imposed by automatic tools for CTI extraction such as web scrapers, crawlers, and chatbots by proposing a multi-agent system based on Large Language Models (LLMs), composed of thirteen cooperating agents that divide the complex task into specific subtasks. The system is designed to operate undercover within online platforms, simulating the behavior of a cybercriminal in order to interact with other malicious actors present in the same environments. The goal is to avoid detection by users and to conduct recurring conversations aimed at acquiring new CTI. Considering the context, it is not uncommon to observe discussions on harmful topics such as pornography, weapons, violence, and drugs. For this reason, specific guidelines have been defined to ensure that the system exclusively selects conversations relevant to cybersecurity, excluding prohibited or harmful content and avoiding any contribution to such domains. The system is also capable of detecting and blocking jailbreaking attempts, aimed both at inducing it to violate the guidelines and at obtaining support for criminal activities. Our results show that the system is able to operate effectively undercover on both surface web and dark web platforms. In offline experiments conducted on 200 real conversations, the system was able to obtain 37.66% techniques and 61.34% additional MITRE tactics compared to the ones in the original conversations. In online experiments conducted on real platforms (blackhatworld.com and Dread Forum), the system conducted 107 autonomous conversations bypassing the CAPTCHAs present and interacting for up to 20 consecutive days. It consistently maintained its undercover identity: no user reported it as an Artificial Intelligence (AI) system and it was not suspended on any of the platforms. The system was able to blend in among the real users (system message AI detection of 6.87% and 10.75% for surface web and dark web) succeeding in extracting concrete and valuable CTI, including private lists of OSINT tools, EDR bypass techniques, details about recent vulnerability exploits, and information about compromised data selling schemes.

Le piattaforme online, quali forum e app di messaggistica del surface e del dark web, consentono agli utenti di comunicare tra loro garantendo elevati livelli di privacy e anonimato. La continua evoluzione dei sistemi di sicurezza e delle tecnologie di anonimizzazione rende tali ambienti particolarmente attrattivi per i cybercriminali, che sfruttano l'anonimato per condividere, gratuitamente o a pagamento, informazioni quali fughe di dati sensibili, vulnerabilità zero-day, ransomware, exploit e servizi illegali, arrecando danni significativi a utenti e organizzazioni. Le forze dell'ordine svolgono operazioni di monitoraggio proattivo al fine di identificare e contrastare tali attività illecite, favorendo l'acquisizione di conoscenza attraverso l'impiego di tecniche di Open Source Intelligence (OSINT) e Cyber Threat Intelligence (CTI). Tali approcci consentono di raccogliere, analizzare e correlare informazioni provenienti da queste piattaforme liberamente accessibili, permettendo di adottare misure preventive per individuare, bloccare e limitare i danni derivanti da potenziali attacchi informatici prima che si verifichino. Questa ricerca vuole superare i limiti imposti dagli strumenti automatici per l'estrazione di CTI come web scraper, crawler e chatbot, proponendo un sistema multi-agente basato su Large Language Models (LLMs), composto da tredici agenti cooperanti che suddividono il compito complesso in sottotask specifici. Il sistema è progettato per operare sotto copertura all'interno di piattaforme online, simulando il comportamento di un cybercriminale al fine di interagire con gli altri attori malevoli presenti negli stessi ambiti. L'obiettivo è evitare il riconoscimento da parte degli utenti e condurre conversazioni ricorrenti finalizzate all'acquisizione di nuove informazioni di CTI. Considerando il contesto, non è inusuale osservare discussioni su argomenti dannosi, quali pornografia, armi, violenza e droghe. Per questo motivo, abbiamo definito specifiche linee guida che permettono al sistema di selezionare esclusivamente conversazioni pertinenti alla cybersecurity, escludendo contenuti vietati o nocivi, evitando di contribuire in alcun modo a tali ambiti. Il sistema è inoltre in grado di rilevare e bloccare tentativi di jailbreaking, finalizzati sia a indurlo a violare le linee guida sia a ottenere supporto al conseguimento di attività criminali. I nostri risultati mostrano come il sistema sia in grado di operare efficacemente sotto copertura sia su piattaforme del surface web sia del dark web. In esperimenti offline condotti su 200 conversazioni reali, il sistema è riuscito ad ottenere il 37,66% di tecniche e il 61,34% di tattiche MITRE aggiuntive rispetto a quelle presenti nelle conversazioni originali. Negli esperimenti online condotti su piattaforme reali (blackhatworld.com e Dread Forum), il sistema ha condotto 107 conversazioni autonome superando i CAPTCHAs presenti ed interagendo fino a 20 giorni consecutivi. Ha mantenuto costantemente la propria identità sotto copertura: nessun utente lo ha segnalato come un sistema di Artificial Intelligence (AI) e non è stato sospeso in nessuna delle piattaforme. Il sistema è riuscito a mimetizzarsi tra gli utenti reali (system message AI detection del 6.87% e 10.75% per surface web e dark web) e ad estrarre CTI concreta e di valore tra cui liste private di strumenti OSINT, tecniche di bypass EDR, dettagli su exploit di vulnerabilità recenti e informazioni sugli schemi di vendita di dati compromessi.