Controlled text generation with adversarial learning

Nowadays Deep Learning Networks are used in every field of Artificial Intelligence, having proved very high performance on complex tasks when a huge amount of data is available. However, while there are many areas in which this technology is considered complete and applicable, many others are still at their infancy and researchers are very active to discover new techniques that may give rise to new applications in the future. This is the case of Text Generation where the first results have been published only very recently, where few prototypes exist, and in English language only. The thesis will give an in-depth survey on modern Deep Learning methods used in Natural Language Processing with a specific focus on Natural Language Generation. Some of these new cutting-edge technologies will be discussed in detail; in particular generative adversarial networks, which have been proved to be very attractive in other fields such as image generation, drug generation and sound generation and can be applied to text too. Then a new architecture for text generation will be proposed and discussed in its implementation: it leverages on last year state-of-the-art works. The proposed model is a conceptual improvement from an unconditioned text generation, where most of the text generation GANs lies, to a conditioned approach. We propose to enhance the generation procedure with guidance on the topic that the text generation system should write about. The goal is to insert the human inside the generation process giving it the possibility to force the generation constrained by simple sentences or concepts as input. This opens the direction to new forms of text generation with a specific style, sentiment or semantic. It was necessary to combine techniques and skills of Natural Language Processing and Deep Learning to understand and make a contribution in an everchanging sector in which innovative works are published every month.

Oggi le reti neurali profonde sono utilizzate in ogni campo dell’Intelligenza Artificiale, avendo dimostrato prestazioni molto elevate su compiti complessi quando è disponibile un’enorme quantità di dati. Tuttavia, mentre esistono molte aree in cui questa tecnologia è considerata completa ed utilizzabile, molti altri settori sono ancora agli inizi e i ricercatori sono attivi per scoprire nuove tecniche che potrebbero dare origine a future applicazioni. È il caso della Generazione Testuale, dove i primi risultati sono stati pubblicati solo di recente. La tesi fornirà un’indagine approfondita sui moderni metodi di Deep Learning utilizzati nell’elaborazione del linguaggio naturale con particolare attenzione alla fase di generazione. Alcune di queste nuove tecnologie d’avanguardia saranno discusse in dettaglio; in particolare le reti generative avversarie (GAN), che si sono dimostrate molto promettenti in altri campi come la generazione di immagini, di farmaci e di suoni e che possono essere utilizzate anche con il testo. In seguito verrà proposta una nuova architettura per la generazione di testo basata su pubblicazioni allo stato dell’arte dello scorso anno. Il modello proposto è un miglioramento concettuale da una generazione di testo non condizionato ad un approccio condizionato. Oggi la maggioranza di lavori che applicano GAN al testo si collocano nella prima categoria. Noi proponiamo di migliorare la procedura di generazione con una guida sul tema e sugli argomenti trattati. L’obiettivo è quello di inserire l’umano all’interno del processo di generazione dandogli la possibilità di forzare la generazione vincolata da semplici frasi o concetti. Questo apre la direzione a nuove forme di generazione del testo con un determinato stile, sentimento o semantica. Per svolgere il lavoro è stato necessario combinare tecniche e competenze di Natural Language Processing e Deep Learning per comprendere e dare un contributo in un settore in continua evoluzione nel quale ogni mese vengono pubblicati lavori innovativi.