A methodology and tool for LLM-based data analysis and reporting

The evolution of Business Intelligence (BI) and data analytics has driven the need for intuitive solutions that bridge the gap between raw data and insights. Traditional BI tools require SQL proficiency, limiting accessibility for non-technical users. This thesis proposes an automated BI dashboard powered by Large Language Models (LLMs) to enhance data accessibility through natural language interfaces (NLIs). By integrating LLM techniques, this research advances automated report generation, transforming natural language queries into SQL statements, visualizations, and insightful annotations. The system consists of three core components: a Text-to-SQL module ensuring syntactical correctness and contextual alignment, a Chart Generation sub-module for effective data representation, and a Chart Analysis sub-module producing relevant insights. Prompt engineering and High-Level Concepts (HLCs) enhance query understanding. Ethical considerations, including data privacy and GDPR compliance, restrict raw data transmission to LLMs. Empirical evaluations demonstrated system robustness. The Text-to-SQL module consistently achieved a 100% execution rate while maintaining high accuracy. The visualization module generated bar and line charts with over 80% accuracy, while caption generation experiments highlighted the superiority of ChatGPT-4o-mini over Claude 3.5 Haiku. The results validate LLM feasibility for automated BI dashboards, with future enhancements in query intent alignment, visualization capabilities, and multi-turn interaction. This research contributes to AI-driven BI by demonstrating how generative models transform analytical processes into user-friendly experiences. The findings support further innovation in LLM-powered decision support systems, enabling more interactive, accurate, and insightful BI solutions.

L’evoluzione della Business Intelligence (BI) e dell’analisi dei dati ha fatto nascere l’esigenza di soluzioni intuitive che colmino il divario tra i dati grezzi e gli approfondimenti. Gli strumenti di BI tradizionali richiedono conoscenze di SQL, limitando l’accessibilità per gli utenti non tecnici. Questa tesi propone un cruscotto di BI automatizzato alimentato da Large Language Models (LLM) per migliorare l’accessibilità dei dati attraverso interfacce in linguaggio naturale (NLI). Integrando le tecniche di LLM, questa ricerca fa progredire la generazione automatica di report, trasformando le query in linguaggio naturale in istruzioni SQL, visualizzazioni e annotazioni utili. Il sistema è costituito da tre componenti fondamentali: un modulo Text-to-SQL che garantisce la correttezza sintattica e l’allineamento contestuale, un sottomodulo Chart Generation per una rappresentazione efficace dei dati e un sottomodulo Chart Analysis che produce approfondimenti rilevanti. L’ingegnerizzazione rapida e i concetti di alto livello (HLC) migliorano la comprensione delle query. Considerazioni etiche, tra cui la privacy dei dati e la conformità al GDPR, limitano la trasmissione dei dati grezzi ai LLM. Le valutazioni empiriche hanno dimostrato la robustezza del sistema. Il modulo Text-to- SQL ha raggiunto costantemente un tasso di esecuzione del 100%, mantenendo un’elevata precisione. Il modulo di visualizzazione ha generato grafici a barre e a linee con una precisione superiore all’80%, mentre gli esperimenti di generazione di didascalie hanno evidenziato la superiorità di ChatGPT-4o-mini rispetto a Claude 3.5 Haiku. I risultati convalidano la fattibilità di LLM per i cruscotti di BI automatizzati, con futuri miglioramenti nell’allineamento dell’intento della query, nelle capacità di visualizzazione e nell’interazione multigiro. Questa ricerca contribuisce alla BI guidata dall’intelligenza artificiale, dimostrando come i modelli generativi trasformino i processi analitici in esperienze di facile utilizzo. I risultati supportano ulteriori innovazioni nei sistemi di supporto decisionale alimentati da LLM, consentendo soluzioni di BI più interattive, accurate e perspicaci.