Non-Bayesian out-of-distribution detection applied to CNN architectures for human activity recognition

Human Activity Recognition (HAR) field studies the application of artificial intelligence methods for the identification of activities performed by people. Many applications of HAR in healthcare and sports require the safety-critical performance of the predictive models. The predictions produced by these models should be not only correct but also trustworthy. However, in recent years it has been shown that modern neural networks tend to produce sometimes wrong and overconfident predictions when processing unusual inputs. This issue puts at risk the prediction credibility and calls for solutions that might help estimate the uncertainty of the model's predictions. In the following work, we started the investigation of the applicability of Non-Bayesian Uncertainty Estimation methods to the Deep Learning classification models in the HAR. We trained a CNN model with public datasets, such as UCI HAR and WISDM, which collect sensor-based time-series data about activities of daily life. Through a series of four experiments, we evaluated the performance of two Non-Bayesian uncertainty estimation methods, ODIN and Deep Ensemble, on out-of-distribution detection. We found out that the ODIN method is able to separate out-of-distribution samples from the in-distribution data. However, we also obtained unexpected behavior, when the out-of-distribution data contained exclusively dynamic activities. The Deep Ensemble method did not provide satisfactory results for our research question.

Il campo della Human Activity Recognition (HAR) studia l'applicazione dei metodi di intelligenza artificiale per l'identificazione di attività svolte dalle persone. Molte applicazioni dell'HAR nell'ambito della sanità e dello sport richiedono prestazioni di sicurezza critica nei modelli predittivi. Le previsioni prodotte da questi modelli devono non solo essere corrette ma anche affidabili. Tuttavia, negli ultimi anni è stato dimostrato che le reti neurali moderne spesso tendono a produrre delle previsioni sbagliate e troppo fiduciose durante l'elaborazione di input insoliti. Questo problema mette a rischio l'attendibilità delle previsioni e richiede soluzioni che possano aiutare a stimare l'incertezza delle previsioni. In questo lavoro, è stata avviata un'indagine sull'applicabilità dei metodi non-bayesiani per la stima dell'incertezza nelle reti neuronali usati per la classificazione nell'HAR. Un modello CNN è stato allenato con dataset pubblici, come UCI HAR e WISDM, contenenti dati di serie temporali relativi ad attività quotidiane. Attraverso quattro esperimenti sono state valutate le prestazioni di due metodi non-bayesiani per la stima dell'incertezza, ODIN e Deep Ensemble, al fine di rilevare dati al di fuori della distribuzione (out-of-distribution detection). È stato scoperto che il metodo ODIN è in grado di separare i campioni al di fuori della distribuzione da quelli all'interno. Tuttavia, è stato anche ottenuto un comportamento inaspettato quando i dati al di fuori della distribuzione erano relativi esclusivamente ad attività dinamiche. Il metodo Deep Ensemble non ha fornito risultati soddisfacenti alla domanda di ricerca.