Leveraging atmospheric conditions for data filtering and cost reduction: PRISMA's strategic solutions

This thesis is a detailed research on the PRISMA initiative, highlighting the complex problems associated with data management and processing, emphasising that tailor-made software solutions were created using various filtering algorithms as inspiration. The paper begins by explaining how the Solar System was formed, including the importance of meteorites and meteors. Furthermore, the paper illustrates how the PRISMA network acquires, processes and analyses astronomical data using the FreeTure software employed at PRISMA. The paper highlights the concrete data management problems that the PRISMA research institute faces in practice with regard to data tagging and filtering. The main contribution of this thesis is the conceptualisation, implementation and integration of a customised data filtering algorithm with the threading mechanisms of the FreeTure application, namely the customised threads WeatherThread, AcqThread, StackThread and DetectionThread. Together, these threads improve the system towards optimal data management that it can effectively support. Under these threads, the proposed solutions are evaluated in terms of efficiency, scalability and reliability, especially for image acquisition in variable weather conditions. The testing of these solutions shows a great improvement in energy use, economic efficiency, memory consumption and, consequently, a reduction in CO2 emissions. Conclusions follow in the final chapters, in which further research directions are highlighted: advanced weather prediction models, machine learning algorithms, further sensor implementations, investigation of alternative power options and scalable cloud infrastructures, and new approaches in data processing. This thesis has thus contributed to a better understanding of methodologies for the development of data processing infrastructures for large astronomical projects and provided a conceptual basis for further improvements in data-intensive science.

Questa tesi rappresenta una ricerca dettagliata sull'iniziativa PRISMA, evidenziando i complessi problemi legati alla gestione e all'elaborazione dei dati, sottolineando che sono state create soluzioni software su misura utilizzando, come ispirazione, vari algoritmi di filtraggio. Il documento inizia spiegando come si è formato il Sistema Solare, compresa l'importanza dei meteoriti e delle meteore. Inoltre, il documento illustra il modo in cui la rete PRISMA acquisisce, elabora e analizza i dati astronomici utilizzando il software FreeTure impiegato presso PRISMA. L'articolo evidenzia i problemi concreti di gestione dei dati che l'istituto di ricerca PRISMA deve affrontare nella pratica, per quanto riguarda il tagging e il filtraggio dei dati. Il contributo principale di questa tesi è la concettualizzazione, l'implementazione e l'integrazione di un algoritmo di filtraggio dei dati personalizzato con i meccanismi di threading dell'applicazione FreeTure, ovvero i thread personalizzati WeatherThread, AcqThread, StackThread e DetectionThread. L'insieme di questi thread migliora il sistema verso una gestione ottimale dei dati che può supportare efficacemente. Sotto questi thread, le soluzioni proposte sono valutate in termini di efficienza, scalabilità e affidabilità, soprattutto per l'acquisizione di immagini in condizioni meteorologiche variabili. La sperimentazione di queste soluzioni evidenzia un grande miglioramento nell'uso dell'energia, nell'efficienza economica, nel consumo di memoria e, di conseguenza, una riduzione delle emissioni di CO2. Le conclusioni seguono nei capitoli finali, in cui vengono evidenziate ulteriori direzioni di ricerca: modelli avanzati di previsione meteorologica, algoritmi di apprendimento automatico, ulteriori implementazioni dei sensori, studio di opzioni di alimentazione alternative e infrastrutture cloud scalabili, nuovi approcci nell'elaborazione dei dati. Questa tesi ha quindi contribuito a migliorare la comprensione delle metodologie per lo sviluppo di infrastrutture di elaborazione dati per grandi progetti astronomici e ha fornito una base concettuale per ulteriori miglioramenti nella scienza ad alta intensità di dati.