How dataset size shapes LLM performance in data preparation

Large Language Models (LLMs) are increasingly employed across different tasks and domains, extending beyond traditional natural language processing into data analysis pipelines involving structured data. This includes activities such as data cleaning and transformation, where LLMs generate code or process logic based on the provided dataset. Due to context window limitations, it is not feasible to provide entire datasets, so only partial samples or summaries can be included in prompts. This constraint motivates a systematic investigation into how the dataset size provided to the model affects its performance in data preparation tasks. To achieve this goal, a controlled experimental study was conducted to investigate how input dataset size shapes LLM performance in data preparation, considering different prompt configurations and the specific tasks the model is asked to perform. Two LLMs are evaluated across four core tasks — data standardization, data imputation, data deduplication, and outlier detection — under three different prompt settings and multiple input sizes. Experiments are conducted under two execution settings: a full-pipeline configuration, where the model performs the full sequence of data preparation tasks, and an isolated-task configuration, where each task is evaluated independently under the same input conditions. The experimental results show that increasing the input dataset size does not consistently improve performance, as its effect varies across tasks and models. Standardization and imputation are more sensitive to dataset size, whereas deduplication and outlier detection depend more on prompt formulation.

I Modelli Linguistici di Grandi Dimensioni (LLM) sono sempre più impiegati in diversi ambiti applicativi, estendendo il loro utilizzo oltre le tradizionali attività di elaborazione del linguaggio naturale verso pipeline di analisi dei dati che coinvolgono dati strutturati. In questo contesto, trovano applicazione in attività quali la pulizia e la trasformazione dei dati, supportando la generazione di codice o logiche di elaborazione a partire dal dataset. Tuttavia, a causa dei limiti di lunghezza dell'input, non è possibile fornire dataset di grandi dimensioni nella loro interezza, rendendo necessario l’utilizzo di campioni parziali o rappresentazioni sintetiche all’interno dei prompt. Tale vincolo motiva un’indagine volta a comprendere come la dimensione del dataset fornito al modello influenzi le sue prestazioni nelle attività di preparazione dei dati. Per raggiungere tale obiettivo, è stato condotto uno studio sperimentale controllato volto a esaminare come la dimensione del dataset in input influenzi le prestazioni degli LLM nei processi di preparazione dei dati, considerando diverse configurazioni di prompt e le attività richieste al modello. Due modelli sono valutati su quattro attività fondamentali — standardizzazione dei dati, imputazione dei valori mancanti, rimozione dei duplicati e rilevamento degli outlier — considerando tre diverse configurazioni di prompt e differenti dimensioni dell’input. Gli esperimenti sono condotti secondo due modalità: una modalità di esecuzione completa, in cui il modello svolge l’intera sequenza delle attività, e una modalità di esecuzione isolata, in cui ciascuna viene valutata singolarmente a parità di condizioni di input. I risultati sperimentali evidenziano che l’aumento della dimensione del dataset non comporta un miglioramento sistematico delle prestazioni, poiché il suo effetto varia in funzione dell’attività e del modello considerato. Le attività di standardizzazione e imputazione risultano maggiormente sensibili alla dimensione dell’input, mentre per la deduplicazione e il rilevamento degli outlier l’influenza principale è legata alla formulazione del prompt.