Scaling and remodeling to very large language models for chatbot applications

A remarkable trend of the last decade was the increasing interest in applications related to the understanding of natural language. Since the second half of the 2010s, this trend has grown exponentially thanks to both the introduction of innovative language models and of new hardware platforms dedicated to deep learning operations. In particular, the development of very large language models and processors designed for neural network applications, promises to significantly enhance the performance of machine-learning language-related applications, such as chatbots. The scope of this thesis is to give a measure of the accuracy of this claim, by means of a practical implementation of a chatbot powered by language models of different generations.

Una tendenza degna di nota durante l'ultima decade è il crescente interesse in applicazioni legate al riconoscimento del linguaggio naturale. Dalla seconda metà degli anni 2010, questo andamento è cresciuto esponenzialmente, per via dell'introduzione sia di modelli innovativi che di nuove piattaforme hardware dedicate alle operazioni di deep learning. In particolare, lo sviluppo di modelli di grandi dimensioni e di processori progettati per applicazioni basate su reti neurali, promette di migliorare significativamente le prestazioni delle applicazioni di machine-learning basate sul linguaggio, come i chatbot. Lo scopo di questa tesi è dare una misura dell'accuratezza di questa affermazione, attraverso l'implementazione pratica di un chatbot basato su modelli di diverse generazioni.