Weighted tardiness minimization for spark applications under heavy load

Big data frameworks are advancing fast. They are very complex software systems involving many stacks and applications execution is spread among a very large number of physical nodes. Since big data systems have a central role in society it must develop intelligent systems which provide quality of service to the end user with satisfactory performance. In order to provide the needs demanded by the end users and reduce the costs business analysis should run to make a wiser decision. Big data applications are supported by cloud infrastructure which can be affected by the performance degradation for the reason of resource contention. This document discusses the optimization problem and the models intended to solve the problem of optimal resource allocation as well as supports the application to execute within a given deadline. The overall objective is to minimize the weighted tardiness of the applications. The reallocation of the cluster nodes can be done by a system in such a way that the weighted sum of the job exceeding the deadline is minimized.

I grandi quadri di dati stanno avanzando velocemente. Sono sistemi software molto complessi coinvolgendo molti stack e applicazioni l'esecuzione è diffusa tra molto grandi numero di nodi fisici. Dal momento che i grandi sistemi di dati hanno un ruolo centrale nella società deve sviluppare sistemi intelligenti che forniscano qualità di servizio all'utente finale con prestazioni soddisfacenti. Al fine di fornire le esigenze richieste dal gli utenti finali e ridurre i costi che l'analisi aziendale dovrebbe eseguire per rendere più saggio decisione. Le applicazioni di big data sono supportate dall'infrastruttura cloud che può essere influenzato dal degrado delle prestazioni per il motivo della risorsa contesa. Questo documento discute il problema di ottimizzazione e i modelli destinato a risolvere il problema dell'assegnazione ottimale delle risorse e dei supporti l'applicazione da eseguire entro una determinata scadenza. L'obiettivo generale è quello di ridurre al minimo il ritardo pesato delle applicazioni. La riallocazione del i nodi del cluster possono essere eseguiti da un sistema in modo tale che la somma ponderata di il lavoro che supera la scadenza è ridotto al minimo.