Sliding Autonomy in data preparation: balancing human expertise and automated processes

Over the last decade, the amount of data recorded and made available has grown exponentially, opening many doors to possible ways of manipulating it with the purpose of supporting the decision making processes. Consequently, different types of users have found themselves in need of analyzing this constantly growing amount of data, not only experienced data scientists but also less capable figures. At the same time, we have all experienced the rise of generative AI and its progressively common implementation in tools of daily use, in different circumstances as a support tool. Concerning generative AI, it significantly contributes to the automation of complex tasks by leveraging its capacity to understand patterns, generate content, and simulate scenarios, resulting not only in enhanced efficiency but also in empowering users across different domains to tackle complex challenges more effectively. In this context, this thesis is positioned to provide a methodology to support users from different backgrounds and experience levels in the data preparation process. Inspired by the Human-In-The-Loop (HITL) methodology and the Sliding Autonomy approach, this thesis work aims to develop an approach that encourages human input and adopts generative AI as a support tool for the user in the context of data preparation and data analysis. The sliding autonomy approach is applied by supporting and providing users with different levels of autonomy based on their expertise. Indeed, the system enables the user to be assisted with varying levels of autonomy, depending on their desired level of independence, aligning with their skills and knowledge of the topic. The proposed methodology aims to support the user in the data preparation phase, adapting to the individual needs of each user and providing them with all the tools to make the most out of their data. This purpose is reached by supporting the user across the different phases that compose the data pre-processing pipeline. From data exploration, generative AI is used to provide the user with descriptions of the provided data. Afterward, the system adapts to the user’s needs when defying the scenario of analysis, providing possibly useful suggestions that may help less skilled individuals. Eventually, the tool adjusts and assists users in the actual data preparation phase, preparing data and making it ready for subsequent analysis.

Nell'ultimo decennio, la quantità di dati registrati e resi disponibili è cresciuta in modo esponenziale, aprendo molte porte a possibili modi di manipolarli allo scopo di supportare i processi decisionali. Di conseguenza, diversi tipi di utenti si sono trovati nella necessità di analizzare questa quantità di dati in costante crescita, non solo esperti scienziati dei dati, ma anche figure meno capaci. Allo stesso tempo, tutti abbiamo sperimentato la crescita dell'intelligenza artificiale generativa e la sua implementazione progressivamente comune in strumenti di uso quotidiano, in diverse circostanze, come strumento di supporto. Riguardo all'IA generativa, contribuisce significativamente all'automazione di compiti complessi sfruttando la sua capacità di comprendere schemi, generare contenuti e simulare scenari, risultando non solo in una maggiore efficienza ma anche nell'abilitazione degli utenti in diversi settori ad affrontare sfide complesse in modo più efficace. È proprio in questo contesto che si colloca questa tesi, con l'obiettivo di fornire una metodologia per supportare gli utenti, provenienti da diverse esperienze e con diversi livelli di competenza, nel processo di preparazione dei dati. Ispirandosi alla metodologia Human-In-The-Loop (HITL) e all'approccio Sliding Autonomy, lo scopo di questo lavoro di tesi è sviluppare un approccio che incoraggi il contributo umano e adotti l'IA generativa come strumento di supporto per l'utente nel contesto della preparazione e analisi dei dati. L'approccio di Sliding Autonomy viene applicato supportando e fornendo agli utenti diversi livelli di autonomia, in base alla loro esperienza. Infatti, il sistema consente all'utente di essere assistito con diversi livelli di autonomia, a seconda del loro desiderato grado di indipendenza, in linea con le loro competenze e conoscenze dell'argomento. La metodologia proposta mira a supportare l'utente nella fase di preparazione dei dati, adattandosi alle esigenze individuali di ciascun utente e fornendo loro tutti gli strumenti per trarre il massimo dai loro dati. Questo scopo viene raggiunto supportando l'utente attraverso le diverse fasi che compongono la pipeline di pre-elaborazione dei dati. Partendo dall'esplorazione dei dati, l'IA generativa viene utilizzata per fornire all'utente descrizioni dei dati forniti. Successivamente, il sistema si adatta alle esigenze dell'utente nel definire lo scenario di analisi, fornendo suggerimenti possibilmente utili che possono aiutare individui meno esperti. Infine, lo strumento si adatta e assiste gli utenti nella fase effettiva di preparazione dei dati, rendendo i dati pronti per l'analisi successiva.