REGWIN: a new method for unsupervised concept drift detection

Learning from a continuous stream of data, with unknown and unpredictable behavior, is a growing challenge that underscores the necessity for adaptive predictive and classification models. These models can be invalidated in the case of a change in the data stream characteristics, a phenomenon known as concept drift. In real-world applications, where human intervention is costly or impractical, it is necessary to identify drifts directly from the data stream in an unsupervised manner. Drift detection finds a fundamental application in the behavioral monitoring of elderly people living alone, where anomalies such as falls or changes in habits may indicate emergencies or the onset of cognitive diseases. From these premises, we propose REGularity WINdowing (REGWIN), an unsupervised algorithm for concept drift detection in univariate time series. The drift detection method is supported by a visual feedback system, the Regularity Gauge, that can help both caregivers and data experts assess the severity and shape of the ongoing drift. Furthermore, a pipeline is proposed to optimize the performance of drift detection algorithms given a dataset and a figure of merit. Finally, the method is tested on synthetic and real datasets describing the activities performed by smart home inhabitants, to evaluate its effectiveness in identifying possible drifts. Moreover, REGWIN is compared with other state-of-the-art methods in the same scenario. The methodologies presented—spanning detection, interpretation, and optimization—not only enhance behavioral monitoring but also extend to other domains requiring robust drift detection. Importantly, these approaches can be adapted for methods beyond REGWIN, contributing to a broader spectrum of concept drift research and applications.

L’apprendimento da un flusso continuo di dati, dal comportamento ignoto e imprevedibile, è una delle numerose sfide che ha evidenziato la necessità che modelli predittivi e di classificazione si adattino nel tempo. In particolare, tali modelli possono essere invalidati nel caso di una deriva nel flusso di dati, un fenomeno conosciuto come concept drift. In applicazioni reali, il costo di interventi umani obbliga a identificare le derive direttamente dal flusso di dati, in modo non supervisionato. L’identificazione delle derive trova un’applicazione fondamentale nel monitoraggio comportamentale di anziani che vivono da soli, dove anomalie comportamentali come cadute o cambiamenti di abitudini possono indicare emergenze o l’insorgenza di malattie cognitive. Da queste premesse nasce REGularity WINdowing (REGWIN), un algoritmo non supervisionato di identificazione delle derive in serie temporali univariate. Il metodo di rilevazione delle derive è accompagnato da un sistema di feedback visivo, Regularity Gauge, che può aiutare sia caregiver, sia esperti nel settore dei dati a valutare la gravità e la forma della deriva in atto. Inoltre, viene proposta una pipeline per ottimizzare le performance dei rilevatori di derive dato un set di dati e una metrica di riferimento. Infine, il metodo viene testato su serie di dati sintetici e reali che descrivono le attività svolte da abitanti di una smart home, per valutare l'efficacia nell'individuazione di eventuali derive. Successivamente, REGWIN è confrontato con altri metodi stato dell’arte nello stesso scenario. L’insieme delle metodologie proposte (identificazione, comprensione e ottimizzazione) può contribuire alla ricerca sulle derive, sia comportamentali che non, applicandosi anche a identificatori diversi da REGWIN.