Optimizing performance and user experience in a mountain detection mobile application

In the contemporary age of Information Technology, mobile devices are the most used tools that allow everyone to accomplish several different operations, in various fields. Their usage growing trend is also underlined by the transition of many desktop applications to the mobile environment. At the same time technologies are growing as well, especially in fields such as Deep Learning, Computer Vision and Augmented Reality. Merging these two factors suggests running modern software on hardware constrained devices. Optimizations of these technologies are extremely required aimed to improve performances on constrained devices. The number of applications that are taking advantage of Convolutional Neural Networks models is steadily increasing proportionally with the Computer Vision tasks diffusion. PeakLens application belongs to this scenario since it exploits both augmented reality aspects and deep learning functions. Specifically, in this work, the PeakLens application has been extended with a new functionality called Peaks from image which allows users to upload a picture to detect mountain peaks, taking advantage of Artificial Intelligence and Computer Vision. The component Peaks from image, as well as the real-time one, uses a Convolutional Neural Network (CNN) to compute and extract the skyline of the image. The CNN has been executed on the smartphone thanks to the PolimiDL framework, an optimized framework created and ad-hoc to be executed on constrained devices. As technologies evolve and inferences in mobile devices become more and more employed, PolimiDL will be compared with different newer frameworks to understand their differences and which could be more convenient nowadays for PeakLens scenario.

Nell’era moderna dell’Information Technology, i dispositivi mobili sono gli strumenti che permettono a chiunque di eseguire diverse operazioni, in capi differenti. Il trend crescente nel loro utilizzo è anche sottolineato dalla transizione di molte applicazioni desktop all’ambiente mobile. Allo stesso tempo le tecnologie stanno anch’esse crescendo, specialmente in campi come Deep Leaning, Computer Vision e Realtà aumentata. Unire questi fattori comporta eseguire software moderni su dispositivi limitati in risorse. Il numero di applicazioni che sfruttano modelli di Reti Neurali Convoluzionali sta crescendo proporzionalmente alla diffusione di funzioni nel campo Computer Vision. L’applicazione PeakLens appartiene a questo scenario in quanto sfrutta aspetti di realtà aumentata e funzioni di deep learning. Nello specifico, in questo lavoro, l’applicazione PeakLens è stata estesa con una nuova funzionalità chiamata "Picchi da un’immagine che permette agli utenti di caricare un’immagine per individuare i picchi delle montagne, tramite algoritmi di Intelligenza Artificiale e Computer Vision. La funzione Picchi da un’immagine, così come quella in real-time, utilizza una Rete Neurale Convoluzionale per elaborare ed estrarre la skyline dell’immagine. La rete neurale convoluzionale è stata eseguita sullo smartphone grazie al framework PolimiDL, un framework ottimizato e creato ah-hoc per essere eseguito su devices limitati. Poiché le tecnologie evolvono e le inferenze sui dispositivi mobili diventano sempre più impiegate, PolimiDL verrà comparato con i frameworks più recenti per capirne le differenze e definire quale sia il più conveniente ad oggi per questo contesto.