A drift detection framework for large language models

The evolution of virtual assistance technologies, especially chatbots, is a fascinating chapter in the history of computing and artificial intelligence. Since ELIZA, the pioneer of chatbots in the 1960s, the corporate world has glimpsed the revolutionary potential of these digital assistants. However, the real breakthrough came with the advent of language models based on the Transformer architecture, known as Large Language Models (LLMs). These models revolutionised the landscape of virtual assistants, as they demonstrated a significant improvement in performance, making chatbots more capable of understanding and responding to users’ needs. But despite these advances, the ability to remain relevant and consistent in a changing context is still a critical challenge: hence the importance of drift detection. In this thesis, we present a drift detection framework specifically designed for conversational agents to address this challenge. This tool not only identifies variations in chatbot’s performance but also explains the underlying causes. By incorporating user feedback and analyzing situations requiring human intervention to resolve complex conversations is required to resolve complex conversations, the framework provides a comprehensive view of the chatbot’s performance and ensures its relevance remains high. The results demonstrate that this system offers a cost-effective and evidence-based alternative to the costly process of periodic re-training of language models, revolutionising the corporate approach to maintaining these advanced virtual assistants. The framework is a significant step forward in the management of chatbots based on generative language models, paving the way for further future research and optimisation of the effectiveness of virtual assistants.

L’evoluzione delle tecnologie di assistenza virtuale, in particolare dei chatbot, rappresenta un capitolo affascinante nella storia dell’informatica e dell’intelligenza artificiale. Da ELIZA, il pioniere dei chatbot degli anni ’60, il mondo aziendale ha intravisto il potenziale rivoluzionario di questi assistenti digitali. Tuttavia, la vera svolta è arrivata con l’avvento dei modelli di linguaggio basati sull’architettura Transformer, noti come Large Language Models (LLMs). Questi modelli hanno rivoluzionato il panorama degli assistenti virtuali, poiché hanno dimostrato un notevole miglioramento nelle prestazioni, rendendo i chatbot più capaci di comprendere e rispondere alle esigenze degli utenti. Ma, nonostante questi progressi, la capacità di rimanere rilevanti e coerenti in un contesto in continua evoluzione rappresenta ancora una sfida critica: ecco l’importanza della rilevazione del drift. In questa tesi, presentiamo un framework di drift detection specifico per agenti conversazionali, progettato per affrontare questa sfida. Questo strumento non solo identifica le variazioni nelle prestazioni del chatbot, ma ne spiega anche le cause sottostanti. Utilizzando feedback utente e analizzando situazioni in cui è necessario l’intervento umano per risolvere conversazioni complesse, il framework offre una visione completa delle prestazioni del chatbot e permette di mantenere elevata la sua rilevanza. I risultati ottenuti dimostrano che questo sistema rappresenta un’alternativa economica e basata su prove al costoso processo di riaddestramento periodico dei modelli di linguaggio, rivoluzionando l’approccio aziendale alla manutenzione di questi assistenti virtuali avanzati. Il framework è un passo avanti significativo nella gestione dei chatbot basati su modelli di linguaggio generativi, aprendo la strada a ulteriori ricerche future e all’ottimizzazione dell’efficacia degli assistenti virtuali.