Neuro-symbolic conditioning for synthetic dataset generation via GANs and stable diffusion

This thesis delves into the integration of Neuro-Symbolic models into the process of synthetic dataset generation, aiming to enhance the performance of models trained on synthetic data for complex tasks. Focusing on Scene Graph Generation (SGG) from images, it explores whether the incorporation of symbolic information can elevate the performance of SGG models trained on synthetic datasets. The research involves training a Neuro-Symbolic generator to produce images based on Scene Graph information and comparing the efficacy of SGG models trained on datasets generated with and without symbolic elements. The results reveal that, although models trained on synthetic images do not achieve the same performance as those trained on real images, the inclusion of symbolic information demonstrates potential, especially in augmenting real datasets. These findings suggest that Neuro-Symbolic approaches may address some of the current limitations of synthetic datasets, though additional research is required to refine these methods and assess their broader applicability.

Questa tesi indaga l’integrazione dei modelli Neuro-Simbolici nel processo di generazione di set di dati sintetici, con l’obiettivo di migliorare le prestazioni dei modelli addestrati su dati sintetici per compiti complessi. Concentrandosi sulla Generazione di Scene Graph (SGG) a partire da immagini, esplora se l’inclusione di informazioni simboliche possa elevare le prestazioni dei modelli SGG addestrati su set di dati sintetici. La ricerca prevede l’addestramento di un generatore Neuro-Simbolico per produrre immagini basate su informazioni di Scene Graph e il confronto dell’efficacia dei modelli SGG addestrati su set di dati generati con e senza elementi simbolici. I risultati rivelano che, sebbene i modelli addestrati su immagini sintetiche non raggiungano le stesse prestazioni di quelli addestrati su immagini reali, l’integrazione di informazioni simboliche dimostra potenziale, soprattutto nell’augmentare i set di dati reali. Questi risultati suggeriscono che gli approcci Neuro-Simbolici potrebbero affrontare alcune delle limitazioni attuali dei set di dati sintetici, sebbene siano necessarie ulteriori ricerche per affinare questi metodi e valutarne l’applicabilità su un’ampia gamma di compiti.