Deep learning for camera-based temperature recognition from digital displays

Character recognition stands out among all tasks that involve analysis of visual data for its applicative possibilities. Many are the bene ts that an automated retrieval of textual information from images brings to solving real-world problems, nding concrete applications in tasks such as the digitalization of information contained in written and printed text or in the automated acquirement of textual information from the surrounding environment. In our research, we tackle the speci c problem of automatically reading temperatures depicted in digital displays of thermostats, performing the end-to-end character recognition process that starts with processing and re ning of the original pictures and ends with detecting the temperature measure of interest. We propose a character recognition system able to operate with images acquired by camera in di erent environmental conditions, which present disturbing factors due to exposition to external light sources and vary in the representation of numbers. Moreover, the recognition process performed by our system is completely automatic and does not require additional user input other than the original image to acquire the temperature measure. We adopt image processing techniques to re ne the original images and convert the numbers to a standard representation. Then, we compare the performances of machine learning and deep learning models in classifying our images, illustrating the advantages of using deep models in our character recognition process. To obtain better classi cation results, we use hill climbing and a genetic algorithm to tune parameters of classi ers and feature extraction. Results indicate that convolutional neural networks are well suited to classify numbers of our dataset, thanks to their ability to automatically retrieve signi - cant representations of the pictures through iterative applications of convolution and subsampling. In contrast, support vector machines show lower classi cation accuracies when used to classify previously unseen numbers.

Il riconoscimento dei caratteri spicca tra tutte le operazioni che riguardano l'analisi di dati visivi per le sue possibilità applicative. I bene ci che una procedura di acquisizione automatica di informazione di testo dalle immagini porta nel risolvere problemi del mondo reale sono svariati: la digitalizzazione dell'informazione contenuta in testi cartacei e il reperimento di informazione testuale dall'ambiente circostante sono esempi di utilizzo concreto di questo processo. Nel nostro studio a rontiamo il problema di leggere automaticamente temperature mostrate in display digitali di termostati, eseguendo il processo completo di riconoscimento dei caratteri che inizia con la modi ca e il miglioramento delle immagini originali e nisce con la lettura della temperatura. Proponiamo un sistema in grado di operare con fotogra e scattate in condizioni ambientali avverse, nelle quali compaiono fattori di disturbo dovuti all'esposizione a fonti di luce esterne e in cui la rappresentazione dei numeri è variabile. Inoltre, il processo eseguito dal nostro sistema è completamente automatico e non richiede altre informazioni per leggere la temperatura se non l'immagine originale. Nell'esecuzione del processo di riconoscimento adottiamo tecniche di image processing per migliorare la qualità delle immagini e convertire i numeri in una rappresentazione standard, comparando l'accuratezza di modelli di machine e deep learning nella classi cazione dei numeri e illustrando i vantaggi derivanti dall'utilizzo di modelli deep per e ettuare l'operazione di riconoscimento. Utilizziamo un algoritmo di hill climbing e un algoritmo genetico per determinare il valore ottimo dei parametri per i classi catori e per l'estrazione di feature. I risultati indicano che le convolutional neural networks sono adatte a classi care i numeri nelle immagini del nostro data set, grazie alla loro capacità di generare rappresentazioni signi cative delle immagini attraverso applicazioni iterative di convoluzione e campionamento. Le support vector machines, al contrario, mostrano una minore accuratezza nel classi care numeri mai visti precedentemente.