Detecting anomalies in the behavior of autonomous robots

Detection of anomalies and faults is a key element for long-term robot autonomy, because, together with subsequent diagnosis and recovery, it allows to reach the required levels of robustness and persistency. A fault which is not promptly detected and addressed, in fact, may result in the robot damaging itself or, even worse, in harming surrounding people. In this thesis, multiple approaches for detecting anomalous behaviors in autonomous robots starting from data collected during their routine operations are proposed. The main idea is to model the nominal (expected) behavior of a robot and to evaluate how far the observed behavior is from the nominal one. The first approach we propose uses Hidden Markov Models (HMMs) to learn the robot's behavior under normal circumstances and detects anomalies by computing variants of the Hellinger distance between the distribution of observations made in a sliding window and the corresponding nominal emission probability distribution (online anomaly detection), or between two HMMs representing nominal and observed behaviors (offline anomaly detection). We then present a data augmentation and retraining technique based on adversarial learning for improving anomaly detection performance of our HMM-based approach when few nominal examples are available. In particular, we first define a methodology for generating adversarial examples for anomaly detectors based on HMMs; then, we present a data augmentation and retraining technique using these adversarial examples to improve anomaly detection performance and robustness to adversarial attacks. The second approach we introduce is a new deep learning-based minimally supervised method which employs a new Variational Auto-Encoder (VAE) architecture and a new incremental training method that, unlike most existing approaches, requires only very few labeled nominal executions to be trained. Also in this case we present both an online and an offline technique. We then propose an adaptation of the VAE-based approach to allow individual robots in a multi-robot systems to detect anomalies in one another. Particular attention is devoted to ensuring that the proposed methods can be easily applicable in different practical settings. Accordingly, all the approaches proposed in this thesis are designed not to make any limiting assumption on how anomalies look like and to work with small amounts of (labeled) training examples. We show how the methods proposed in this thesis positively compare against state-of-the-art anomaly detectors commonly used in robotics in a variety of application domains involving different robotic platforms required to operate for long periods of time without interruption.

Il rilevamento di anomalie e guasti è un elemento chiave per fare in modo che i sistemi robotici possano operare in autonomia per lunghi periodi di tempo, in quanto, insieme alla successiva diagnosi (capire la natura dell'anomalia) e al ripristino ad uno stato pre-anomalo, ciò consente di raggiungere i livelli di robustezza e persistenza desiderati. Un guasto che non viene tempestivamente rilevato e risolto, infatti, può comportare il danneggiamento del robot o, peggio ancora, minacciare la sicurezza di eventuali persone circostanti. In questa tesi vengono proposti diversi approcci per rilevare comportamenti anomali in robot autonomi a partire dai dati raccolti durante le loro operazioni di routine. L'idea principale è quella di modellare il comportamento nominale (atteso) di un robot e poi valutare quanto il comportamento osservato a runtime sia lontano da quello appreso. Il primo approccio proposto utilizza gli Hidden Markov Model (HMM) per apprendere il comportamento del robot in circostanze di funzionamento normale e rileva eventuali anomalie calcolando una variante della distanza di Hellinger tra la distribuzione delle osservazioni fatte in una finestra scorrevole e la corrispondente distribuzione di probabilità di emissione dell'HMM (anomaly detection online) o tra due HMM che rappresentano i comportamenti nominali e osservati (anomaly detection offline). Viene poi presentata una tecnica di data augmentation e riaddestramento basata sul concetto di adversarial learning che ha il fine di migliorare le prestazioni di rilevamento delle anomalie dell'approccio basato su HMM in condizioni di scarsita' di dati nominali. In particolare, viene definita una metodologia per la generazione di esempi adversarial appositamente per algoritmi di anomaly detection basati su HMM. Viene inoltre introdotta una procedura per utilizzare tali esempi adversarial per il riaddestramento dell'HMM e mostrato come ciò conduca a un miglioramento nelle prestazioni di rilevamento delle anomalie. Il secondo approccio che che viene introdotto e' un nuovo metodo di deep learning a "supervisione minima" che impiega una nuova architettura di Variational Auto-Encoder (VAE) e un nuovo metodo di addestramento incrementale che, a differenza della maggior parte degli approcci esistenti, richiede una quantità minima di esecuzioni nominali durante l'addestramento. Anche in questo caso, viene proposta sia una tecnica online che una offline per il rilevamento delle anomalie. Come ulteriore contributo, viene presentato un adattamento dell'approccio basato su VAE per consentire a singoli robot in un sistema multi-robot di tipo swarm di rilevare anomalie l'uno nell'altro. Particolare attenzione è dedicata a garantire che i metodi proposti possano essere facilmente applicabili in diversi contesti pratici. Di conseguenza, tutti gli approcci proposti in questa tesi sono progettati per non fare alcuna ipotesi limitante sull'aspetto delle anomalie considerate e sono predisposti per funzionare con piccole quantità di esempi nominali. Attraverso un'estesa serie di esperimenti, viene mostrato come i metodi proposti in questa tesi siano competitivi rispetto ad altri metodi per l'anomaly detection in sistemi robotici. Tali esperimenti coinvolgono molteplici scenari in cui è richiesto che i robot dislocati siano in grado di operare per lunghi periodi di tempo senza interruzioni.