Analysis of pruning techniques and sparse matrix applications in deep convolutional neural networks

This thesis investigates machine learning algorithms with sparse matrices, focusing on optimizing the efficiency of Deep Convolutional Neural Networks (DCNNs) through pruning techniques and sparsity. Pruning removes low-contributing weights, reducing model size and computational demands while retaining essential features. The study explores the literature of various pruning techniques, including magnitude-based, structured, and sensitivity-based pruning, and examines their impact on model accuracy and computational efficiency. Three datasets (MNIST, Fashion-MNIST, and Kuzushiji-MNIST) serve as benchmarks to test the effects of different sparsity levels. The findings reveal that sparsity offers notable gains in speed and memory efficiency, especially for simpler datasets, while more complex data requires a careful pruning to maintain accuracy. Additionally, we assess software and hardware optimizations to leverage sparsity, examining the potential of specialized hardware accelerators and memory-efficient storage formats. These topics hold significant implications for deploying deep learning models on resource-constrained devices. This work provides insights into achieving an optimal trade-off between sparsity and accuracy, guiding the development of efficient deep-learning solutions for a range of applications.

Questa tesi esamina gli algoritmi di machine learning con matrici sparse, concentrandosi sull’ottimizzazione dell’efficienza delle Deep Convolutional Neural Networks (DCNNs) at- traverso tecniche di pruning e sparsity. Il pruning elimina i pesi a basso contributo, riducendo le dimensioni del modello e le richieste computazionali, mantenendo al contempo le features essenziali. Lo studio esplora lo stato dell’arte relativo a varie tecniche di pruning, incluse quelle basate sulla magnitudine, strutturate e quelle basate sulla sen- sibilità, ne esamina l’impatto sulla precisione del modello e sull’efficienza computazionale. Tre dataset (MNIST, Fashion-MNIST e Kuzushiji-MNIST) fungono da benchmark per testare gli effetti dei diversi livelli di sparsità. I risultati rivelano che la sparsità offre notevoli vantaggi in termini di efficienza computazionale e di memoria, in particolare per i dataset più semplici, mentre per i dati più complessi è necessario un pruning moderato per non penalizzare l’accuratezza. Inoltre, vengono valutate ottimizzazioni software e hardware per sfruttare la sparsità, esaminando il potenziale di acceleratori hardware specializzati e formati di storage. Questi aspetti hanno importanti implicazioni per il deployment di modelli di deep learning su dispositivi a risorse limitate. Questo lavoro fornisce approfondimenti sul raggiungimento di un equilibrio ottimale tra sparcità e accuratezza, orientando lo sviluppo di soluzioni di deep learning efficienti per una vasta gamma di applicazioni.