Over the last decade, Deep Learning models have become central in both scientific and industrial contexts. The growing demand for Artificial Intelligence applications has led many companies to invest in data centers for training. However, acquisition, usage, and maintenance costs make continuous expansion difficult, increasing the relevance of efficient training-job scheduling and the integration of cloud resources. This thesis addresses the online scheduling of training jobs, considering both a heterogeneous on-premise GPU cluster and a cloud component that can be activated through VMs. The model distinguishes between small jobs, which can be executed within a single node, and large jobs, which require multi-node configurations. The objective is to reduce training-related operating costs while penalizing deadline violations. Due to the complexity of the complete formulation, the problem is decomposed into two subsystems, dedicated respectively to large jobs and small jobs. Three hybrid methods are proposed: MIXED, which combines a reduced MILP formulation for large jobs with a Greedy heuristic for small jobs; MRG, which extends small-job scheduling through a Random Greedy procedure; and MRGMC, which introduces a Monte Carlo simulation of future steps. The methods are evaluated on realistic workloads, considering different load bands defined according to the percentage of large jobs. Compared with the reference methods, the results show that MIXED achieves cost reductions above 50\% when large jobs dominate the workload, while performance worsens when small jobs prevail, highlighting the trade-off induced by system separation. MRG partially mitigates this limitation and provides the best balance between solution quality and computational complexity, whereas MRGMC yields further but limited improvements. The scalability analysis also shows that the methods are compatible with online use in on-premise scenarios, while cloud bursting increases scheduling times, making it more suitable for smaller clusters.

Nell'ultimo decennio, i modelli di Deep Learning sono diventati centrali sia in ambito scientifico sia industriale. La crescente domanda di applicazioni di Intelligenza Artificiale ha portato numerose aziende a investire in data center per il training. Tuttavia, i costi di acquisizione, utilizzo e manutenzione rendono difficile la continua espansione, aumentando la rilevanza dello scheduling efficiente dei job di training e dell'integrazione di risorse cloud. Questa tesi affronta il problema dello scheduling online di job di training, considerando sia un cluster GPU eterogeneo on-premise sia una componente cloud attivabile tramite VM. Il modello distingue tra small jobs, eseguibili in un singolo nodo, e large jobs, che necessitano configurazioni multi-nodo. L'obiettivo è ridurre i costi operativi legati al training, penalizzando al tempo stesso le violazioni delle deadline assegnate ai job. Data la complessità della formulazione completa, il problema è decomposto in due sottosistemi, dedicati rispettivamente a large jobs e small jobs. Sono proposti tre metodi ibridi: MIXED, che combina una formulazione MILP ridotta per i large jobs con un'euristica Greedy per gli small jobs; MRG, che estende lo scheduling degli small jobs con una procedura Random Greedy; e MRGMC, che introduce una simulazione Monte Carlo degli step futuri. I metodi sono valutati su workload realistici, considerando diverse fasce di carico definite in base alla percentuale di large jobs. Nel confronto con i metodi di riferimento, i risultati mostrano che MIXED ottiene una riduzione dei costi superiore al 50\% quando i large jobs dominano il workload, mentre le prestazioni peggiorano quando prevalgono gli small jobs, evidenziando il compromesso indotto dalla separazione del sistema. MRG mitiga parzialmente questa limitazione e offre il miglior equilibrio tra qualità delle soluzioni e complessità computazionale, mentre MRGMC mostra miglioramenti ulteriori ma limitati. L'analisi di scalabilità mostra inoltre che i metodi sono compatibili con un utilizzo online in scenari on-premise, mentre il cloud bursting aumenta i tempi di scheduling, risultando più adatto a cluster di dimensioni contenute.

Hybrid methods for AI training job scheduling

COLOMBO, DAVIDE OLIVIERO
2025/2026

Abstract

Over the last decade, Deep Learning models have become central in both scientific and industrial contexts. The growing demand for Artificial Intelligence applications has led many companies to invest in data centers for training. However, acquisition, usage, and maintenance costs make continuous expansion difficult, increasing the relevance of efficient training-job scheduling and the integration of cloud resources. This thesis addresses the online scheduling of training jobs, considering both a heterogeneous on-premise GPU cluster and a cloud component that can be activated through VMs. The model distinguishes between small jobs, which can be executed within a single node, and large jobs, which require multi-node configurations. The objective is to reduce training-related operating costs while penalizing deadline violations. Due to the complexity of the complete formulation, the problem is decomposed into two subsystems, dedicated respectively to large jobs and small jobs. Three hybrid methods are proposed: MIXED, which combines a reduced MILP formulation for large jobs with a Greedy heuristic for small jobs; MRG, which extends small-job scheduling through a Random Greedy procedure; and MRGMC, which introduces a Monte Carlo simulation of future steps. The methods are evaluated on realistic workloads, considering different load bands defined according to the percentage of large jobs. Compared with the reference methods, the results show that MIXED achieves cost reductions above 50\% when large jobs dominate the workload, while performance worsens when small jobs prevail, highlighting the trade-off induced by system separation. MRG partially mitigates this limitation and provides the best balance between solution quality and computational complexity, whereas MRGMC yields further but limited improvements. The scalability analysis also shows that the methods are compatible with online use in on-premise scenarios, while cloud bursting increases scheduling times, making it more suitable for smaller clusters.
ING - Scuola di Ingegneria Industriale e dell'Informazione
22-lug-2026
2025/2026
Nell'ultimo decennio, i modelli di Deep Learning sono diventati centrali sia in ambito scientifico sia industriale. La crescente domanda di applicazioni di Intelligenza Artificiale ha portato numerose aziende a investire in data center per il training. Tuttavia, i costi di acquisizione, utilizzo e manutenzione rendono difficile la continua espansione, aumentando la rilevanza dello scheduling efficiente dei job di training e dell'integrazione di risorse cloud. Questa tesi affronta il problema dello scheduling online di job di training, considerando sia un cluster GPU eterogeneo on-premise sia una componente cloud attivabile tramite VM. Il modello distingue tra small jobs, eseguibili in un singolo nodo, e large jobs, che necessitano configurazioni multi-nodo. L'obiettivo è ridurre i costi operativi legati al training, penalizzando al tempo stesso le violazioni delle deadline assegnate ai job. Data la complessità della formulazione completa, il problema è decomposto in due sottosistemi, dedicati rispettivamente a large jobs e small jobs. Sono proposti tre metodi ibridi: MIXED, che combina una formulazione MILP ridotta per i large jobs con un'euristica Greedy per gli small jobs; MRG, che estende lo scheduling degli small jobs con una procedura Random Greedy; e MRGMC, che introduce una simulazione Monte Carlo degli step futuri. I metodi sono valutati su workload realistici, considerando diverse fasce di carico definite in base alla percentuale di large jobs. Nel confronto con i metodi di riferimento, i risultati mostrano che MIXED ottiene una riduzione dei costi superiore al 50\% quando i large jobs dominano il workload, mentre le prestazioni peggiorano quando prevalgono gli small jobs, evidenziando il compromesso indotto dalla separazione del sistema. MRG mitiga parzialmente questa limitazione e offre il miglior equilibrio tra qualità delle soluzioni e complessità computazionale, mentre MRGMC mostra miglioramenti ulteriori ma limitati. L'analisi di scalabilità mostra inoltre che i metodi sono compatibili con un utilizzo online in scenari on-premise, mentre il cloud bursting aumenta i tempi di scheduling, risultando più adatto a cluster di dimensioni contenute.
File allegati
File Dimensione Formato  
2026_07_Colombo_Thesis.pdf

solo utenti autorizzati a partire dal 02/07/2027

Descrizione: Thesis in English
Dimensione 20.87 MB
Formato Adobe PDF
20.87 MB Adobe PDF   Visualizza/Apri
2026_07_Colombo_Executive Summary.pdf

solo utenti autorizzati a partire dal 02/07/2027

Descrizione: Executive Summary in English
Dimensione 2.26 MB
Formato Adobe PDF
2.26 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/260540