Deep autoencoders for anomaly detection in electricity consumption of buildings

Topics of environmental pollution and energy saving are among the most discussed in the recent years. It is now clear to everybody that these issues cannot be ignored any longer as consequences would be catastrophic: from rising temperatures to the destruction of the most fragile ecosystems. According to the United Nations Environment Programme, buildings are responsible for 38% of the global energy use. This, combined with the rising costs of energy, provides us a good reason to devise effective new ways to prevent energy wastes in buildings. One of the possible approaches is to detect faults and abnormal patterns in the electricity consumption of buildings via anomaly detection algorithms. Among all the different anomaly detection algorithms, this thesis focuses on Autoencoders, semi-supervised deep learning neural networks that provide state-of-the-art detection performance. The goal of this thesis is to present an innovative network topology that outperforms the state-of-the-art methods by solving the bypassing phenomenon affecting Variational Autoencoders with Self-Attention. The bypassing problem is caused by the Self-Attention mechanism which does not perform at its best when working with real world and noisy data. To solve it, we have designed the Convolutional Variational Self-Attention mechanism, an innovative alternative to the traditional Self-Attention mechanism whose performance does not deteriorate even when working with noisy datasets. We provide an extensive experimental comparison on both a univariate and a multivariate dataset which shows that the proposed network topology offers better performance with respect to the state-of-the-art methods, and that, in case of noisy datasets, simpler models can work better than more complex ones.

I temi dell’inquinamento ambientale e dello spreco energetico sono tra i più discussi degli ultimi anni. È ormai chiaro a tutti che questi problemi non possono più essere ignorati poiché le conseguenze sarebbero catastrofiche: dall’aumento delle temperature fino alla distruzione degli ecosistemi più fragili. Secondo lo United Nations Environment Programme, gli edifici sono responsabili per il 38% del consumo energetico globale. Questo, unito ai crescenti costi dell’energia, ci fornisce un’ottima ragione per studiare nuovi ed efficaci metodi di prevenzione degli sprechi energetici negli edifici. Uno degli approcci che è possibile adottare è quello di rilevare guasti ed anomalie nel consumo elettrico degli edifici tramite appositi algoritmi. Tra tutti i possibili algoritmi, questa tesi si concentra sugli Autoencoders, reti neurali ad apprendimento semi-supervisionato che forniscono eccellenti prestazioni di rilevamento delle anomalie. L’obiettivo di questa tesi è quello di presentare una nuova topologia di rete in grado di superare l’attuale stato dell’arte risolvendo il problema di bypass che affligge i Variational Autoencoders con Self-Attention. Il problema di bypass è causato proprio dal meccanismo di Self-Attention, il quale non performa al meglio quando si lavora con dati reali e dunque particolarmente rumorosi. Per risolvere il problema abbiamo progettato il meccanismo di Convolutional Variational Self-Attention, un’alternativa alla tradizionale Self-Attention in grado di mantenere alte le proprie prestazioni anche quando si lavora con dataset particolarmente rumorosi. Presentiamo inoltre al lettore un ampio confronto sperimentale, sia su un dataset univariato che su uno multivariato, dimostrando che la topologia di rete da noi proposta offre prestazioni migliori rispetto allo stato dell’arte e che, in caso di dataset particolarmente rumorosi, modelli più semplici possono offrire prestazioni migliori di quelli più complessi.