A transformer-based approach to predicting the likeability of books

Can machines learn what it is that makes a good book a good book? On the one hand, the characteristics of a computer seem to be intrinsically unsuited for the interpretation of any form of human art, yet recent advancements in Neural Networks demonstrate that computers have effectively been able to understand and even generate their own works of art in the visual, musical, and literary domains. Inspired by the fast-growing achievements in Natural Language Processing (NLP) and its potential use-cases, with the present work we explore the current limits of a book success prediction system. Prior research has demonstrated that Artificial Intelligence (AI) is able to "read" and analyze book contents to generate assessments of their quality that correlate reasonably well with factual indicators of success with human readers. However, although methods of content analysis and classification have been rapidly evolving in the rapidly growing field of NLP, and replacing older approaches, such more modern approaches have not yet been fully applied to the task of assessing book quality and likeability with potential human readers. In our thesis, we propose a transformer-based approach to the book likeability prediction problem. More specifically, we investigate the applicability of Google’s new language model, BERT, and BERT-like models, which have seen wide-scale adoption and application across an abounding number of NLP tasks. Given the inherent limitation on the length of text sequences that NLP algorithms can analyze and classify in one single processing step, in our application we experiment with approaches in which the transformer architecture can be tailored to enable the classification of very long sequences, such as books. In addition, we also explore techniques to generate embeddings and book representations from transformer-based models, so that these can be used in conjunction with more classical text-derived features to train multi-modal networks that produce likeability ranking outputs.

Può una macchina elettronica capire cosa è che determina la qualità di un buon libro? Da un lato le caratteristiche di un computer sembrano essere intrinsicamente poco adatte ad interpretare qualsiasi tipo di espressione artistica umana; dall’altro i recenti progressi raggiunti nel campo delle Reti Neurali (Neural Networks) hanno dimostrato che i computers sono stati capaci di capire forme di arte e persino generarne esempi, nei campi delle arti visuali, musicali, e letterarie. Partendo dall’ispirazione fornita dai sempre più notevoli sviluppi nel campo del Natural Language Processing (NLP) e dalle sue potenziali applicazioni, la presente tesi esplora le possibili capacità di un sistema di predizione del livello di successo ottenibile da parte di un libro. Precedente ricerca ha dimostrato che tecniche di Artificial Intelligence (AI) permettono ad un computer di “leggere” ed analizzare il contenuto di un libro per generare una valutazione della sua qualità, in modi che si correlano ragionevolmente bene con reali indici del successo ottenuto con normali lettori umani. Tuttavia, sebbene metodi di analisi e classificazione del contenuto di un libro siano in costante e rapida evoluzione nel sempre più ampio campo di ricerca dell’NLP rimpiazzando progressivamente metodologie precedenti, tali moderni metodi non hanno ancora trovato un’applicazione estesa e completa al problema di valutare la qualita` di un libro e il suo potenziale di apprezzamento da parte dei suoi lettori. In questa tesi proponiamo un approccio alla valutazione del potenziale di apprezzamento (“likeability”) di un libro che è basato sull’uso delle reti “transformers” (Transformer Networks). Più in particolare, la tesi esplora l’applicabilità a questo problema del nuovo modello di linguaggio BERT prodotto da Google, e di vari modelli derivati da BERT, i quali hanno avuto adozione e applicazione su larga scala in una estesa varietà e notevole numero di problemi nel campo dell’NLP. La nostra applicazione, dati gli intrinsechi limiti di lunghezza delle sequenze di testo che un algoritmo NLP può analizzare e classificare in un singolo stadio di analisi, è stata condotta sperimentando con vari metodi tramite i quali l’architettura transformer può essere adattata per permettere la classificazione di sequenze di dati di notevole lunghezza, come è nel caso del testo di un libro. Oltre questo, la tesi usa e valuta tecniche per generare rappresentazioni ed indici delle caratteristiche di un libro (“embeddings”), tramite modelli di tipo transformer, e usare tali rappresentazioni, in congiunzione con altri più tradizionali indici di valutazione basati sul testo stesso, per eseguire la calibrazione e formazione (“training”) di reti multi-modali che producono le valutazioni finali del potenziale apprezzamento di un generico lettore del libro.