Cloud bursting for hybrid AI training jobs: joint scheduling and capacity allocation

Deep Learning models have grown increasingly popular in recent years due to the impressive performance they demonstrate on a wide variety of tasks, from image recognition to natural language processing. However, training such models can be prohibitively expensive both due to the long execution times of training tasks and the inherent costs of GPU-based acceleration. In this work, we optimize the scheduling of such training tasks to minimize operational costs while avoiding violating deadline constraints. Starting from already existing but separate methods for the scheduling of large and small jobs, we integrate the two and extend them to allow for the possibility of cloud bursting when necessary due to high demand. We run multiple tests to verify the effectiveness of our method, which demonstrates costs reduction of around 52% to 65% when compared to other alternative state-of-the-art methods. We then test the impact of cloud bursting on scheduling costs, highlighting its importance in heavy load scenarios, where it provides cost reductions between 8% and 26%. Lastly we prove the applicability of our method by showing it obtains near-optimal schedules for systems of up to 300 nodes and 50 concurrent jobs in less than 5 seconds in most cases.

I modelli di Deep Learning sono diventati sempre più popolari negli ultimi anni grazie alle eccellenti prestazioni che dimostrano in un’ampia varietà di attività, dal riconoscimento delle immagini ai sistemi di raccomandazione. Tuttavia, il training di tali modelli può essere estremamente costoso sia a causa dei lunghi tempi di esecuzione dei training job stessi sia per i costi intrinseci nell’utilizzo di GPU ai fine di accelerarne l’esecuzione. In questo lavoro, ottimizziamo lo scheduling di tali training job per ridurre al minimo il costi di utilizzo delle risorse, evitando allo stesso tempo di violare le loro scadenze. Partendo da metodi già esistenti ma separati per lo scheduling di job grandi e piccoli, integriamo i due e li estendiamo per consentire la possibilità di cloud bursting quando necessario a causa di un’elevata richiesta di risorse. Eseguiamo diversi test per verificare l’efficacia del nostro metodo, che dimostra una riduzione dei costi di circa il 52% - 65% rispetto ad altri metodi di stato dell’arte. Successivamente, testiamo l’impatto del cloud bursting sui costi di scheduling, dimostrandone l’importanza in scenari particolarmente impegnativi, dove offre riduzioni dei costi tra l’8% e il 26%. Infine, dimostriamo l’applicabilità del nostro metodo dimostrando come ottenga scheduling quasi ottimali per sistemi fino a 300 nodi e 50 job in meno di 5 secondi nella maggior parte dei casi.