Metrics for measuring the quality of unstructured data

Subjectivity can contribute to a holistic understanding and assessment of fitness for heterogeneous data. Questionnaire-based methods prove valuable for measuring quality, diagnosing problems, and raising quality awareness. Models trained on human-annotated datasets can learn quality judgment patterns. Although practice is domain-dependent, past works of the data quality discipline provide foundations at the high and intermediate levels of abstraction. These include consumer-oriented views, dimension descriptions, generic metric formulations, and conceptual modeling to separate intentionality from data representations. This work explores the definition and assessment of a quality model for text data. Our literature review indicates that the use of domain-validated representations and methods, and the perspective of model predictions as quality estimations are fundamental for understanding and implementing automatic-metrics. Approaches include domain-driven rule-based, stochastic, and parametric models, clustering to study data groups in terms of quality properties, and high-performance neural networks able to extract task-relevant features. Lightweight pretrained models and comprehensive libraries reduce cost and expertise barriers. To illustrate practical aspects, we train DistilBERTbased classifiers as automatic-metrics for the Comprehensible, Repetition-free, and Grammatical dimensions of the SEAHORSE dataset. Our models exhibit above 88% ROC AUC at a parameter ratio of 0.12 relative to the mT5-SEAHORSE reference. While local metrics can be validated with test-splits of identically distributed data, generalization claims require out-of-distribution evaluations. High-quality data and high-performance models form a virtuous circle: quality data enables better models, which can serve as automatic metrics to quantify quality properties.

La soggettività può contribuire a una comprensione e valutazione olistica dell’idoneità di dati eterogenei. I metodi basati su questionari si dimostrano preziosi per misurare la qualità, diagnosticare i problemi e aumentare la consapevolezza della qualità. I modelli addestrati su set di dati annotati da umani possono apprendere pattern di valutazione della qualità. Sebbene la pratica dipenda dal dominio, i lavori precedenti nel campo della qualità dei dati forniscono basi a livelli di astrazione elevati e intermedi. Questi includono visioni orientate al consumatore, descrizioni delle dimensioni, formulazioni generiche di metriche e modellazione concettuale per separare l’intenzionalità dalle rappresentazioni dei dati. Questo lavoro esplora la definizione e la valutazione di un modello di qualità per i dati testuali. La nostra revisione della letteratura indica che l’uso di rappresentazioni e metodi validati dal dominio e la prospettiva delle predizioni del modello come stime di qualità sono fondamentali per comprendere e implementare metriche automatiche. Gli approcci includono modelli guidati dal dominio basati su regole, stocastici e parametrici, clustering per studiare gruppi di dati in termini di proprietà di qualità e reti neurali ad alte prestazioni in grado di estrarre caratteristiche rilevanti per i compiti. Modelli preaddestrati leggeri e librerie complete riducono i costi e le barriere di competenza. Per illustrare gli aspetti pratici, addestriamo classificatori basati su DistilBERT come metriche automatiche per le dimensioni comprensibili, prive di ripetizioni e grammaticali del dataset SEAHORSE. I nostri modelli mostrano un ROC AUC superiore all’88% con un rapporto di parametri di 0.12 rispetto al riferimento mT5-SEAHORSE. Mentre le metriche locali possono essere validate con test-split di dati distribuiti in modo identico, le affermazioni sulla generalizzazione richiedono valutazioni fuori distribuzione. Dati di alta qualità e modelli ad alte prestazioni formano un circolo virtuoso: dati di qualità consentono modelli migliori, che possono fungere da metriche automatiche per quantificare le proprietà di qualità.