Scenario-based certification of data-driven design: a comparative analysis

When data are scarce and their generating distribution is unknown, the standard practice of splitting them into a training and a test set is wasteful, as the data kept for testing do not improve the learned model. The scenario approach avoids this: it trains on all the available data and certifies the risk of the solution, distribution-free, through an observable quantity, the solution's complexity. This thesis tests, on real data, whether this approach holds in practice and whether it outperforms the test set approach, applying it to two learning problems recast as compression schemes: classification via the Guaranteed Error Machine (GEM) on CIFAR-10, and regression via Support Vector Regression (SVR) on gas turbine emission data. The scenario bounds prove both empirically valid and tight, with the empirical risk never exceeding the certified bounds on real data. In classification, the scenario approach certifies a lower risk than the test set approach even at its optimal split. In regression, it delivers a more informative model, a substantially smaller prediction tube, at the same certified risk level and with the smallest variability across repetitions. In both cases, it achieves this while using all the available data for training, whereas the test set approach remains structurally trapped in the trade-off between model quality and tightness of certification.

Quando i dati sono scarsi e la distribuzione che li genera è ignota, la pratica standard di suddividerli in training e test set è dispendiosa, poiché i dati riservati al test non migliorano il modello appreso. L'approccio a scenario evita questo problema addestrando su tutti i dati disponibili e certificando il rischio della soluzione, in modo distribution-free, tramite una quantità osservabile, la sua complessità. Questa tesi verifica, su dati reali, se tale approccio regga nella pratica e se superi l'approccio del test set, applicandolo a due problemi di apprendimento riformulati come schemi di compressione: la classificazione tramite Guaranteed Error Machine (GEM) su CIFAR-10 e la regressione tramite Support Vector Regression (SVR) su dati di emissioni di una turbina a gas. I bound dello scenario risultano empiricamente validi e stretti, con il rischio empirico che non eccede mai i bound certificati sui dati reali. Nella classificazione, l'approccio a scenario certifica un rischio inferiore rispetto al test set anche nel suo punto di ottimo. Nella regressione, restituisce un modello più informativo, un tubo di predizione sensibilmente più piccolo, a parità di rischio certificato e con la minima variabilità tra le ripetizioni. In entrambi i casi ottiene questo risultato usando tutti i dati disponibili per l'addestramento, mentre l'approccio del test set resta strutturalmente intrappolato nel compromesso tra qualità del modello e strettezza della certificazione.