Benchmarking mobile frameworks for computer vision applications

Nowadays, fields such as Deep Learning, Computer Vision and Augmented Reality are growing significantly, especially on mobile devices. It is therefore necessary for software to run properly on devices with limited resources without ruining the user experience. PeakLens is an Augmented Reality application that can recognize mountain peaks by framing a panorama with a mobile phone camera. To make the best use of Deep Learning and Computer Vision technologies on devices with limited hardware, it is necessary to optimize the Convolutional Networks. The algorithm has to be in fact very efficient and accurate without slowing down the device too much. This work performs various comparisons on several devices comparing their performance in terms of initialization time, image pre-processing, latency, throughput, memory and battery consumption. The frameworks tested are PolimiDL, TensorFlow Lite and PyTorch Mobile. PolimiDL is the Deep Learning framework on which PeakLens is based, TensorFlow Lite is the solution proposed by Google and PyTorch Mobile is the framework developed mainly by Meta AI(Facebook). The performance of the three frameworks will be compared to understand the behaviors and strengths of each.

Al giorno d’oggi campi come Deep Learning, Computer Vision e Realtà aumentata stanno notevolmente crescendo, soprattutto sui dispositivi mobili. È dunque necessario che il software venga eseguito correttamente su dispositivi con limitate risorse senza rovinare l’esperienza dell’utente. PeakLens è un’applicazione di Realtà Aumentata che inquadrando un panorama con la fotocamera del cellulare è in grado di riconoscere i picchi delle montagne. Per utilizzare al meglio le tecnologie di Deep Learning e Computer Vision su dispositivi dall’hardware limitato è necessario ottimizzare le Reti Convoluzionali. L’algoritmo deve infatti essere molto efficiente ed accurato senza rallentare troppo il dispositivo. Questo lavoro effettua vari confronti su più dispositivi confrontandone le prestazioni in termini di tempo di inizializzazione, pre-elaborazione dell’immagine, latenza, throughput, consumo di memoria e batteria. I framework testati sono PolimiDL, TensorFlow Lite e PyTorch Mobile. PolimiDL è il framework di Deep Learning su cui PeakLens è basata, TensorFlow Lite è la soluzione proposta da Google e PyTorch Mobile è il framework sviluppato principalmente da Meta AI(Facebook). Le prestazioni dei tre framework verranno confrontate per capire i comportamenti e i punti di forza di ognuno.