KlevR and DeepR : a benchmark for exploring deductive reasoning functionalities of variational autoencoders

In the context of Artificial intelligence, approximate reasoning is a well-known technique that aims at improving the efficiency of deductive artificial intelligence by trading inference correctness for performance (e.g., execution time). In particular, prominent examples of approximate reasoning include, but are not limited to approximate consistency checking using linear classifiers, relational learning with Machine Learning models (e.g. RESCAL and TransE), and Knowledge Graph completion using Deep Learning techniques (e.g. ConvE). To the best of our knowledge, none of the existing approximation techniques has been applied to materialization, i.e., the task of computing all the entailed assertions given a knowledge base. A major obstacle is the lack of a benchmark for the task that enables the investigation of expressiveness and efficiency trade-off. In this thesis work, we address these problems by designing a full-fledged benchmark named KlevR that is based on an accepted deep learning dataset called CLEVR. In particular, KlevR is a knowledge graph that includes three OWL ontologies (one for each OWL profile) that captures the CLEVR abstractions, scenes, and queries. We tested KlevR using a baseline model set named DeepR, which performs the approximate materialization task. In particular, DeepR is a set of deep learning models performing approximate materialization for each OWL profile using a tensor representation for KlevR. Considering the generative nature of the materialization task (adding new assertions), we designed DeepR as a generative model based on Variational Autoencoders. Moreover, as the embedding model for the tensor, we opted for a triple-based subject-predicate-object, since it allows a fair reconstruction of the knowledge graph structure from the vector representations. Finally, we tested KlevR using DeepR and verified a set of metrics. The result of our work is a synthetic and scalable benchmark for testing Deep Learning models addressing future investigations about the approximate materialization task.

Nel contesto dell’intelligenza artificiale, il ragionamento approssimativo è una tecnica ben nota che mira a migliorare l’efficienza della deduzione, in termini di una ridotta precisione a fronte di una migliore performance (in termini di tempo di esecuzione). In particolare, esempi rilevanti di ragionamento approssimativo includono, ma non si limitano, all’approssimazione del task di consistency checking utilizzando classificatori lineari, al relational learning con modelli di Machine Learning (es. RESCAL e TransE) e al completamento di grafi di conoscenza utilizzando tecniche di Deep Learning (es. ConvE). Allo stato delle attuali conoscenze e delle informazioni a nostra disposizione, nessuna delle tecniche esistenti è stata applicata alla materializzazione, cioè il task di calcolare tutte le asserzioni implicate data una base di conoscenza. Uno dei principali ostacoli è la mancanza di un benchmark di riferimento per il task di materializzazione approssimata, che consenta di indagare l’espressività e il compromesso di efficienza. Nel seguente lavoro di tesi, affrontiamo questi problemi progettando KlevR, un benchmark completo basato su un dataset noto nell’ambito del Deep Learning chiamato CLEVR. In particolare, KlevR è un grafo di conoscenza scritto in OWL2 che include tre ontologie OWL (una per ogni profilo), e che cattura le astrazioni di CLEVR, le sue scene e domande. Abbiamo testato il benchmark con un insieme di modelli di Deep Learning chiamato DeepR, che approssima la materializzazione per ciascun profilo OWL, utilizzando un modello tensoriale di embed- ding per KlevR. Considerando la natura generativa del compito di materializzazione (aggiungere nuove asserzioni), abbiamo progettato DeepR con un modello generativo basato su Variational Autoencoder. Inoltre, come modello di embedding per i tensori, abbiamo optato per un modello basato su triple soggetto-predicato-oggetto, poiché consente una fedele ricostruzione della struttura del grafo di conoscenza dalle rappresentazioni vettoriali. Infine, abbiamo testato KlevR utilizzando DeepR e verificato una serie di metriche. Il risultato del nostro lavoro consiste in un benchmark sintetico e scalabile per il training di modelli di Deep Learning utilizzabili per approfondire il task di materializzazione approssimata.