Green AI training via dataset subset selection: the GAIT framework

In recent years, the increasing frequency and computational intensity of deep learning training workloads have made energy consumption and related carbon emissions a central sustainability concern. In production settings, where models are updated and retrained recurrently, training time, energy, and emissions are no longer secondary metrics: they become operational costs that accumulate over the model lifecycle. This thesis, therefore, addresses how to reduce the computational footprint of supervised training and, consequently, its energy and emissions impact without changing the model architecture and without requiring invasive access to training dynamics. Our approach is data-driven: we reduce the effective training-set size via dataset subset selection, while preserving predictive utility as much as possible. The work focuses on a stationary and one-shot regime, where selection is executed once before training and must keep overhead limited. Within this setting, we present GAIT (Green AI Training), a modular decision-support framework that integrates subset selection with profiling and training-cost estimation, enabling consistent comparisons of alternative configurations in terms of time, energy, and emissions under a specific execution context. In parallel, we propose a family of supervised, training-free, one-shot selectors that builds a target-driven importance signal in representation space and regularizes it with lightweight geometric components to preserve coverage and reduce redundancy under aggressive pruning. Experimental evaluation on real classification and regression benchmarks shows that the proposed family is competitive and often improves over comparable training-free baselines.

Negli ultimi anni, la crescente frequenza e intensità computazionale degli addestramenti di modelli di deep learning hanno reso il consumo energetico e le relative emissioni di carbonio un tema centrale per la sostenibilità. Nei contesti di produzione, in cui i modelli vengono aggiornati e riaddestrati in modo ricorrente, tempo di training, energia ed emissioni non sono più metriche accessorie: diventano costi operativi che si accumulano lungo l’intero ciclo di vita del modello. Questa tesi affronta quindi la riduzione dell’impronta computazionale dell’addestramento supervisionato e, di conseguenza, del suo impatto energetico ed emissivo, senza modificare l’architettura del modello e senza richiedere accesso invasivo alle dinamiche del training. L’approccio è data-driven: si riduce la dimensione effettiva del training set tramite dataset subset selection, preservando quanto più possibile l’utilità predittiva. Il lavoro si colloca in un regime operativo stazionario e one-shot, in cui la selezione è eseguita una sola volta prima dell’addestramento e deve mantenere overhead contenuto. In questo quadro, presentiamo GAIT (Green AI Training), un framework modulare di supporto alle decisioni che integra la selezione di sottoinsiemi con profilazione e stima del costo di training, rendendo confrontabili configurazioni alternative in termini di tempo, energia ed emissioni su uno specifico contesto di esecuzione. In parallelo, proponiamo una famiglia di selettori supervisionati, training-free e one-shot che costruisce un segnale di importanza target-driven nello spazio di rappresentazione e lo regolarizza con componenti geometriche leggere per mantenere copertura e ridurre ridondanza in condizioni di pruning aggressivo. La valutazione sperimentale su benchmark reali di classificazione e regressione mostra che la famiglia proposta è competitiva e spesso migliorativa rispetto a baseline training-free comparabili.