Backpropagation-free integer-only training of Convolutional Neural Networks

The advent of Big Data, along with significant advancements in computing power, has pushed Deep Learning (DL) to a leading position in Artificial Intelligence (AI) research and application. DL leverages models called Deep Neural Networks (DNNs) which excel at processing unstructured data such as images. Conventional floating-point DNNs demand substantial computational resources, including GPUs and CPUs with high-precision floating-point units and extensive memory capacities. Training integer-only DNNs can mitigate these requirements through the inherent simplicity of integer operations, which are faster to execute and have lower energy consumption. This approach is particularly advantageous for TinyML applications on resource-constrained devices lacking floating-point support and for accelerating the extremely expensive computations of Homomorphic Encryption schemes used in Privacy-Preserving Machine Learning. This thesis introduces an innovative framework for training DNNs exclusively with integer arithmetic, supporting both Multi-Layer Perceptrons (MLPs) and Convolutional Neural Networks (CNNs), overcoming the incompatibility of the standard Backpropagation algorithm by employing the Local Error Signals (LES) algorithm. The novelty lies in the capability of training both shallow and deep CNNs natively in the integer domain, surpassing the limitations of previous works that either rely on quantization or lack support for convolutional architectures. The proposed solution is implemented as an open-source Python library that hides the framework's complexity, allowing to train integer-only DNNs in a few lines of code with GPU acceleration. Extensive experiments validate the framework's effectiveness, showcasing considerable performance improvements over similar integer-only methodologies and minimal to no performance degradation w.r.t. floating-point networks across standard image recognition datasets.

L'avvento dei Big Data, insieme ai progressi nella potenza di calcolo, ha spinto il Deep Learning (DL) a occupare una posizione di rilievo nella ricerca e nell'applicazione dell'Intelligenza Artificiale, sfruttando modelli chiamati Reti Neurali Profonde (RNP) per l'elaborazione di dati non strutturati come le immagini. Addestrare RNP in floating-point richiede significative risorse computazionali, tra cui GPU, CPU e ampia memoria. Le RNP a valori interi possono mitigare questi requisiti grazie alla semplicità dell'aritmetica intera, che consiste in operazioni più veloci e con consumo energetico inferiore. Questo approccio è particolarmente vantaggioso per le applicazioni TinyML su dispositivi che non supportano operazioni floating-point e per accelerare i calcoli estremamente costosi degli schemi di crittografia omomorfa usati nel Privacy-Preserving Machine Learning. Questa tesi introduce un nuovo framework per l'addestramento di RNP esclusivamente con aritmetica intera, supportando sia Multi-Layer Perceptrons (MLPs) sia Reti Neurali Convoluzionali (RNC), utilizzando l'algoritmo Local Error Signals (LES) per superare l'incompatibilità con Backpropagation. L'innovazione risiede nella capacità di addestrare RNC sia con pochi strati che profonde in modo nativo con valori interi, superando le limitazioni dei lavori precedenti che si basano sulla quantizzazione o non supportano architetture convoluzionali. La soluzione proposta è implementata come una libreria Python che permette di addestrare RNP a valori interi con accelerazione GPU in poche righe di codice. Svariati esperimenti convalidano l'efficacia del framework, mostrando notevoli miglioramenti delle prestazioni rispetto a metodologie simili e un degrado minimo o nullo delle prestazioni rispetto a RNP in floating-point su dataset standard per il riconoscimento delle immagini.