Exploration and evaluation of software models generation with large language models

This thesis intricately navigates the terrain of harnessing language prowess of Large Language Models (LLMs), as ChatGPT, for dynamic diagram generation. Beginning with preliminary experiments to acquaint with the model's capabilities, the research advances to unveil a mapping algorithm, based on VF Algorithm. Delving into the formulation of metrics, including mapping rate, graph edit distances (GED), and similarity rates, the study meticulously refines these formulations for optimal performance. Through iterative strategies such as zero-shot and few-shot prompting, Recursive Criticism and Improvement (RCI), and task division, the research achieves nuanced insights into refining prompts for specific cases. The study accentuates the delicate equilibrium between specificity and brevity in prompts, delving into ChatGPT's learning curve and exposing key challenges in error handling. This thesis not only illuminates the evolving landscape of activity diagram synthesis, but also suggests avenues for enhancing ChatGPT's capabilities in comprehending and generating complex visual structures.

Questa tesi esplora con precisione l'arte di sfruttare le abilità linguistiche dei Large Language Models (LLMs), come ChatGPT, per la generazione dinamica di diagrammi. Partendo da esperimenti preliminari per familiarizzare con le capacità del modello, la ricerca si spinge a svelare un algoritmo di mappatura, basato sul VF Algorithm. Approfondendo la formulazione di metriche, tra cui il mapping rate, graph edit distance (GED) e il similarity rate, lo studio raffina meticolosamente queste formulazioni per prestazioni ottimali. Attraverso strategie iterative come zero-shot e few-shot prompting, Recursive Criticism and Improvement (RCI) e divisione del prompt, la ricerca ottiene intuizioni sfumate sulla rifinitura delle richieste per casi specifici. Lo studio accentua l'equilibrio delicato tra specificità e brevità nelle richieste, approfondendo la curva di apprendimento di ChatGPT e mettendo in luce sfide chiave nella gestione degli errori. Questa tesi illumina non solo il paesaggio in evoluzione della sintesi di diagrammi di attività, ma suggerisce anche vie per potenziare le capacità di ChatGPT nel comprendere e generare strutture visive complesse.