M-SHRED: masked shallow recurrent decoders for fault-tolerant sparse sensing under missing sensor measurement

Real-world sensing systems are inherently imperfect: sensors may fail, intermittently disconnect, operate with asynchronous sampling rates, and are subject to noise, leading to measurement streams that are irregular, incomplete, and heterogeneous. Nevertheless, sensing strategies for real-time state reconstruction typically assume full observability, a constraint that substantially limits their applicability in operational environments. In this work, we introduce and systematically evaluate a hierarchy of transformer-based masking mechanisms, such as channel-wise, hidden-state, and multi-head self-attention masking, in the context of Shallow Recurrent Decoders (SHRED). Specifically, by incorporating the binary missingness mask at multiple levels of the architecture, we make SHRED explicitly aware of sensor availability, thus enabling high-dimensional state estimation from sparse, asynchronous, and missing sensor measurements. Moreover, we further introduce a multi-step decoding training objective for SHRED. In particular, through the decoding at intermediate timesteps and a weighted reconstruction loss, it is possible to provide auxiliary supervision throughout the temporal axis, inducing smoother and more coherent latent trajectories. Throughout synthetic benchmarks and a real-world hydrodynamic dataset, we show that (i) transformer-based masking mechanisms outperform standard imputation techniques, recurrent architectures specifically designed for incomplete time-series, and the conventional SHRED framework operating exclusively on the subset of continuously available sensor streams, when coping with heterogeneous missing-data and over extended prediction horizons, (ii) the multi-step decoding during training enhances reconstruction fidelity and robustness in the presence of heterogeneous missing-data patterns, and (iii) both contributions preserve the computational efficiency of the original SHRED framework, with no additional inference-time overhead, as the masking operations are integrated within the encoder and the auxiliary decoding branches are discarded after training.

I sistemi di sensing nel mondo reale sono intrinsecamente imperfetti: i sensori possono guastarsi, disconnettersi in modo intermittente, operare con frequenze di campionamento asincrone ed essere soggetti a rumore, generando flussi di misurazioni irregolari, incompleti ed eterogenei. Nonostante ciò, le strategie di sensing per la ricostruzione real-time dello stato assumono tipicamente una piena osservabilità del sistema, un vincolo che ne limita significativamente l'applicabilità in contesti operativi. In questo lavoro introduciamo e valutiamo sistematicamente una gerarchia di meccanismi di mascheramento basati su transformer, tra cui il channel-wise masking, l' hidden-state masking e il multi-head self-attention masking, nel contesto degli Shallow Recurrent Decoder (SHRED). In particolare, incorporando la maschera binaria di missingness a più livelli dell'architettura, rendiamo SHRED esplicitamente consapevole della disponibilità dei sensori, consentendo la stima di stati ad alta dimensionalità a partire da misurazioni sensoriali sparse, asincrone e incomplete. Introduciamo inoltre un obiettivo di addestramento basato sulla decodifica multi-step per SHRED. In particolare, mediante la decodifica a istanti temporali intermedi e l'impiego di una funzione di loss pesata, è possibile fornire una supervisione ausiliaria lungo l'intero asse temporale, inducendo traiettorie latenti più fluide e coerenti. Attraverso benchmark sintetici e un dataset idrodinamico reale, mostriamo che (i) i meccanismi di mascheramento basati su transformer superano: le tecniche di imputazione standard, le architetture ricorrenti progettate specificamente per serie temporali incomplete e il framework SHRED convenzionale operante esclusivamente sul sottoinsieme dei flussi sensoriali continuamente disponibili, nella gestione di pattern di dati mancanti e eterogenei e su orizzonti di previsione estesi; (ii) la decodifica multi-step durante l'addestramento migliora la fedeltà di ricostruzione e la robustezza in presenza di pattern di dati mancanti eterogenei; e (iii) entrambi i contributi preservano l'efficienza computazionale del framework SHRED originale, senza alcun overhead aggiuntivo in fase di inferenza, poiché le operazioni di mascheramento sono integrate all'interno dell'encoder e i rami di decodifica ausiliari vengono eliminati al termine dell'addestramento.