Distributed convolutional neural networks in edge computing systems

The paradigm of Cloud computing has proved to be unreliable in a scenario where more and more applications require the processing of large amounts of data with responses in a short time. This request for low latency and broad bandwidth is not always supported by the Cloud, especially in the current context where a constantly growing quantity of interconnected devices — called Internet of Things (IoT) — often rely on the Cloud to process data. Moreover, some of these applications require a stable connection, which is not always possible to guarantee. To overcome these problems a new computational model is emerging, called Edge computing, which aims to bring the processing as close as possible to the source of the data, potentially on the same IoT devices. The application considered is a convolutional neural network (CNN). CNNs are widely used in image analysis, thanks to their ability to identify features of increasing complexity. In this case, the CNN is used for a multi-class classification problem, where it must recognize the class of the input image. On the other hand, the CNNs are applications that have high requirements in terms of computational load, memory usage and energy consumed. Therefore they do not appear to be suited for implementation on IoT devices, often characterized by limited resources. The various solutions presented in the literature to address this problem are analyzed. A methodology is then presented, able to distribute a CNN on two or more devices and thus exploit the potential of Edge computing. The selected CNN is partitioned into sub-sets consisting of one or more contiguous layers, which meet the specifications of the devices. A practical application is then implemented and illustrated in detail. The tests carried out and the performance analysis reveal the feasibility and validity of the project.

Il paradigma del Cloud computing si è mostrato inaffidabile in uno scenario dove sempre più applicazioni richiedono l’elaborazione di grosse quantità di dati con risposte in tempi brevi. Questa richiesta di bassa latenza e ampia banda non è sempre supportabile dal Cloud, specie nel panorma attuale dove un quantitativo in costante crescita di dispositivi interconnessi tra loro — complessivamente chiamati Internet of Things (IoT) — fa spesso affidamento sul Cloud per processare i dati. Per di più, alcune di questa applicazioni richiedono una connessione stabile, che non è sempre possibile garantire. Per superare queste problematiche sta emergendo un nuovo modello computazionale, chiamato Edge computing, che si prefissa di portare l’elaborazione il più vicino possibile alla sorgente dei dati, potenzialmente sugli stessi dispositivi IoT. L’applicazione presa in considerazione è una rete neurale convoluzionale (CNN). Le CNN sono ampiamente usate nell’analisi delle immagini, grazie alla loro abilità di individuare caratteristiche di complessità crescente. In questo caso la CNN viene usata per un problema di classificazione multi-classe, dove deve riconoscere a quale classe appartiene l’immagine in input. D’altro canto le CNN sono applicazioni che hanno alti requisiti in termini di carico computazionale, occupazione della memoria ed energia consumata. Non risultano essere predisposte per un’implementazione su dispositivi IoT, caratterizzati spesso da risorse limitate. Sono analizzate le varie soluzioni presenti in letterature per affrontare questa problematica. Viene quindi presentata una metodologia per potere distribuire la CNN su due o più dispositivi e sfruttare così le potenzialità dell’Edge computing. La CNN selezionata viene partizionata in sotto-insiemi costituiti da uno o più layer contigui, che soddisfino le specifiche dettate dai dispositivi. A seguire viene implementata e illustrata nel dettaglio un’applicazione pratica. I test eseguiti e l’analisi delle performance rivelano la fattibilità e validità del progetto.