This thesis proposes an auto-profiling tool for OSCAR, an open-source platform able to support serverless computing for scientific data-processing. The tool, named OSCAR-P, is designed to automatically test a specified application workflow on different hardware and node combinations, obtaining relevant information on the timing of the execution of the individual components. It then uses the collected data to build performance models using machine learning, making it possible to predict the performance of the application on unseen configurations. OSCAR-P has been tested on clusters with different architectures (x86 and ARM64) and with different workloads. The use case considered for the test is a mask detection application that can be executed in a smart city to detect how many people are not wearing a face mask in a certain area. OSCAR-P proved its efficiency, greatly reducing the time needed to set up OSCAR, collect the logs and process them manually. The preliminary results obtained on the performance models accuracy are also promising, showing a mean absolute percentage error lower than 20% in all the considered scenarios.

Questa tesi presenta un tool per il profiling automatico di OSCAR, una piattaforma open-source per il supporto di computazioni serverless mirate all'elaborazione di dati scientifici. Il tool, chiamato OSCAR-P, è in grado di testare automaticamente il workflow di un'applicazione su diverse combinazioni di hardware e nodi, ottenendo informazioni rilevanti sui tempi di esecuzione dei singoli componenti. I dati raccolti sono successivamente usati per costruire, tramite tecniche di machine learning, dei modelli di performance, rendendo possibile effettuare delle predizioni sulle performance dell'applicazione in configurazioni non testate. OSCAR-P è stato testato su cluster con architetture differenti (x86 e ARM64) e con diversi carichi di lavoro. Il caso di studio considerato per questi test è un'applicazione per il rilevamento delle mascherine che può essere eseguita in una smart city per rilevare quante persone non stanno indossando la mascherina in una determinata area. OSCAR-P ha dimostrato la sua efficienza, riducendo significativamente i tempi necessari per il setup di OSCAR, la raccolta e l'elaborazione manuale dei log. I risultati preliminari ottenuti dai modelli di performance sono a loro volta promettenti, mostrando un errore medio percentuale assoluto (MAPE) inferiore del 20% in tutti gli scenari considerati.

OSCAR-P : a framework for automating application profiling in the computing continuum

GALIMBERTI, ENRICO
2021/2022

Abstract

This thesis proposes an auto-profiling tool for OSCAR, an open-source platform able to support serverless computing for scientific data-processing. The tool, named OSCAR-P, is designed to automatically test a specified application workflow on different hardware and node combinations, obtaining relevant information on the timing of the execution of the individual components. It then uses the collected data to build performance models using machine learning, making it possible to predict the performance of the application on unseen configurations. OSCAR-P has been tested on clusters with different architectures (x86 and ARM64) and with different workloads. The use case considered for the test is a mask detection application that can be executed in a smart city to detect how many people are not wearing a face mask in a certain area. OSCAR-P proved its efficiency, greatly reducing the time needed to set up OSCAR, collect the logs and process them manually. The preliminary results obtained on the performance models accuracy are also promising, showing a mean absolute percentage error lower than 20% in all the considered scenarios.
FILIPPINI, FEDERICA
SEDGHANI, HAMTA
ING - Scuola di Ingegneria Industriale e dell'Informazione
28-apr-2022
2021/2022
Questa tesi presenta un tool per il profiling automatico di OSCAR, una piattaforma open-source per il supporto di computazioni serverless mirate all'elaborazione di dati scientifici. Il tool, chiamato OSCAR-P, è in grado di testare automaticamente il workflow di un'applicazione su diverse combinazioni di hardware e nodi, ottenendo informazioni rilevanti sui tempi di esecuzione dei singoli componenti. I dati raccolti sono successivamente usati per costruire, tramite tecniche di machine learning, dei modelli di performance, rendendo possibile effettuare delle predizioni sulle performance dell'applicazione in configurazioni non testate. OSCAR-P è stato testato su cluster con architetture differenti (x86 e ARM64) e con diversi carichi di lavoro. Il caso di studio considerato per questi test è un'applicazione per il rilevamento delle mascherine che può essere eseguita in una smart city per rilevare quante persone non stanno indossando la mascherina in una determinata area. OSCAR-P ha dimostrato la sua efficienza, riducendo significativamente i tempi necessari per il setup di OSCAR, la raccolta e l'elaborazione manuale dei log. I risultati preliminari ottenuti dai modelli di performance sono a loro volta promettenti, mostrando un errore medio percentuale assoluto (MAPE) inferiore del 20% in tutti gli scenari considerati.
File allegati
File Dimensione Formato  
Executive summary.pdf

non accessibile

Dimensione 865.11 kB
Formato Adobe PDF
865.11 kB Adobe PDF   Visualizza/Apri
Thesis.pdf

non accessibile

Dimensione 2.29 MB
Formato Adobe PDF
2.29 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/187695