A study of the impacts of language and context on the effectiveness of sentence classification and named entity recognition

This work is the result of an internship carried on at Vidiemme Consulting Srl company, in Milan. The purpose of this thesis is to provide comparison of possible solutions to be adopted in a particular sub-field related to conversational agents. Many studies have been proposed on this subject concerning the English language or other studied languages such as Spanish, French etc but Italian research is not so prosperous. Moreover, multilingual solutions have been published in recent years, gaining a higher generalization and scalability feature without performance loss. My studies are strictly correlated to the “intent and entities” model discussed later on, very popular nowadays in conversational agents field. The aim of this work is to provide a comparison between possible solutions solving the intent \& entities model applicable to the Italian language through deep learning techniques. Neural networks are a paradigm largely used in Artificial Intelligence tasks, by means of which data scientists try to simulate the inner workings of an actual brain. Through these mathematical models, generally speaking, it is possible to solve a new range of problems which require a different approach from the usual programming paradigms. Thanks to these architecture for instance, a machine is able to understand the natural language, achieving incredible performances on many NLP tasks. The tasks involved in this study are just a small subset of the overall scene of NLP task. This work focuses on the main aspects concerning the intent and entities model. Therefore, intent detection, specialization of a more general task called “text classification”, and the extraction of the entities, associated to the NER task, are analysed. Many other tasks concerning deep learning, as described in the study, might apply to the world of conversational agents but they are left out in order to provide a more detailed description and discussion over these two tasks. This thesis highlights the possibility of providing deep learning techniques applied to Italian language and related to conversational agents starting from the knowledge achieved for NLP in English. The context of application for an architecture built for a specific task of a conversational agent is way more context dependent rather than language dependent, regarding the studied tasks connected to the intent and entities model, Sentence Classification and NER.

Questo lavoro è il risultato di uno stage svolto presso la società Vidiemme Consulting Srl, a Milano. Lo scopo di questa tesi è quello di fornire un confronto tra le possibili soluzioni da adottare in un particolare sottocampo relativo agli agenti conversazionali. Sono stati proposti numerosi studi su questo argomento riguardanti la lingua inglese o altre lingue studiate come lo spagnolo, il francese ecc. Ma la ricerca italiana non è così prospera... Inoltre, negli ultimi anni sono state pubblicate soluzioni multilingua, ottenendo una maggiore generalizzazione e scalabilità senza perdita di prestazioni. I miei studi sono strettamente correlati al modello di "intenti ed entità" discusso più avanti, molto popolare oggi nel campo degli agenti conversazionali. Lo scopo di questo lavoro è quello di fornire un confronto tra le possibili soluzioni risolvendo il modello di intenti ed entità applicabile alla lingua italiana attraverso tecniche di deep learning. Le reti neurali sono un paradigma ampiamente utilizzato nei compiti di Intelligenza Artificiale, per mezzo del quale i data scientist cercano di simulare il funzionamento interno di un cervello reale. Attraverso questi modelli matematici, in generale, è possibile risolvere una nuova gamma di problemi che richiedono un approccio diverso dai soliti paradigmi di programmazione. Grazie a questa architettura, ad esempio, una macchina è in grado di comprendere il linguaggio naturale, ottenendo prestazioni incredibili in molte attività di NLP. I compiti coinvolti in questo studio sono solo un piccolo sottoinsieme della scena generale dell'attività di NLP. Questo lavoro si concentra sugli aspetti principali riguardanti l'intento e il modello delle entità. Pertanto, vengono analizzati il rilevamento di intenti, la specializzazione di un compito più generale chiamato "classificazione del testo" e l'estrazione delle entità, associate al compito di NER. Molti altri compiti riguardanti l'apprendimento profondo, come descritto nello studio, potrebbero applicarsi al mondo degli agenti conversazionali ma sono esclusi per fornire una descrizione e una discussione più dettagliate su questi due compiti. Questa tesi evidenzia la possibilità di fornire tecniche di apprendimento profondo applicate alla lingua italiana e relative ad agenti conversazionali a partire dalle conoscenze acquisite per NLP in inglese. Il contesto dell'applicazione per un'architettura creata per un compito specifico di un agente conversazionale è molto più dipendente dal contesto piuttosto che dal linguaggio, per quanto riguarda le attività di studio connesse al modello di intenti ed entità, Classificazione delle frasi e NER.