Parallel Implementation of Machine Learning Algorithms and Neural Networks with Noir

In the current digital era, the exponential growth of data presents both immense opportunities and challenges. This increment in data volume has fueled innovation in data science, machine learning, and artificial intelligence. Machine learning algorithms and neural networks excel with significant data but face challenges such as increased computational cost and extended training times. Moreover, large datasets may exceed the memory or storage capacities of individual machines. To address these challenges, distributed processing paradigms enable parallel execution across multiple computing nodes. The Noir framework, designed for big data processing, serves as the basis for our investigation. Our research focuses on practically implementing well-known machine learning algorithms and dense neural networks in a parallel-distributed context. We aim to assess how effectively each algorithm integrates into a data distribution setup and whether Noir can enhance computation speed compared to popular frameworks like Scikit-learn and TensorFlow, without compromising algorithm quality and efficiency.

Nell'attuale era digitale, la crescita esponenziale dei dati presenta sia immense opportunità che sfide significative. Questo aumento nel volume dei dati ha alimentato interesse e innovazione nell'ambito della Data Science e dell'Intelligenza Artificale. Gli algoritmi di machine learning e le reti neurali eccellono con dati significativi, ma affrontano sfide come il crescente costo computazionale e dei tempi di addestramento. Inoltre, grandi quantità di dati possono superare le capacità di memoria o di archiviazione delle singole macchine. Per affrontare queste sfide, i paradigmi di "parallel processing" consentono l'esecuzione parallela su più nodi di calcolo. Il framework Noir, progettato per l'elaborazione di big data, serve come base per la nostra indagine. La nostra ricerca si concentra sull'implementazione pratica di noti algoritmi di Machine Learning e reti neurali in un contesto distribuito in parallelo. Abbiamo l'obiettivo di valutare quanto efficacemente ogni algoritmo si integra in un contesto di distribuzione dei dati e se Noir possa migliorare la velocità di calcolo rispetto a framework popolari come Scikit-learn e TensorFlow, senza compromettere la qualità ed efficienza degli algoritmi.