Real-time Wake-Word Detection in automotive environments: a low-complexity hybrid approach leveraging synthesized data

The deployment of voice interfaces has established Wake Word Detection (WWD) as a significant focus of human-machine interaction research within automotive environments. However, implementing continuous streaming Keyword Spotting (KWS) in passenger vehicle cabins introduces technical challenges due to highly variable acoustic conditions. Many established methodologies rely on structural temporal aggregation mechanisms that are inherently difficult to adapt to strict real-time constraints; consequently, achieving a stable balance between activation sensitivity and false trigger suppression remains an open development problem. To explore this trade-off, this thesis proposes a low-complexity, streaming-native WWD framework structured for resource-constrained edge hardware. The proposed methodology integrates an automated synthetic data generation pipeline, a joint multi-class convolutional neural network, and a deterministic Finite State Machine (FSM) post-processing layer. The framework utilizes a data generation process that leverages Text-to-Speech (TTS) synthesis with the objective of modeling challenging acoustic scenarios by incorporating phonetic hard negatives. By partitioning the audio stream into distinct phonetic-temporal phases, encompassing the core wake word duration and a post-wake transitional segment, the network is optimized to encourage rapid probability reassignments at the utterance boundaries. The evaluation, conducted on both synthetic In-Domain and real-world Out-of-Domain automotive recordings, provides a structured analysis of the framework. Within the tested configurations, the continuous verification windows and debouncing constraints enforced by the post-processing layer demonstrate a substantial suppression of spurious activations, effectively stabilizing the false alarm rate while maintaining competitive detection performance. Furthermore, the experimental results indicate that the acoustic features learned from the synthesized training data successfully transfer across the domain gap to natural human speech. This equilibrium is achieved with a limited parametric footprint, presenting a viable alternative paradigm for edge-oriented deployment.

L’impiego di interfacce vocali ha reso il Wake-Word Detection (WWD) un rilevante ambito di ricerca nell’interazione uomo-macchina in contesto automobilistico. Tuttavia, l’implementazione di sistemi di keyword spotting in streaming continuo nell’abitacolo introduce sfide tecniche dovute a condizioni acustiche altamente variabili. Molte delle metodologie consolidate si affidano a meccanismi di aggregazione temporale strutturale intrinsecamente difficili da adattare a vincoli in tempo reale stringenti; di conseguenza, il raggiungimento di un equilibrio stabile tra sensibilità di attivazione e soppressione dei falsi allarmi rimane un problema di sviluppo aperto. Per esplorare questo trade-off, questa tesi propone un framework per il WWD nativo per lo streaming, a bassa complessità e strutturato per hardware edge limitati. La metodologia indagata integra una pipeline automatizzata per la generazione di dati sintetici, una rete neurale convoluzionale multiclasse congiunta e un livello di post-elaborazione deterministico governato da una Macchina a Stati Finiti (FSM). Il framework utilizza un processo di generazione dati che sfrutta la sintesi Text-to-Speech con l’obiettivo di modellare scenari acustici complessi mediante l’inserimento di hard negatives fonetici. Suddividendo il flusso audio in fasi fonetico-temporali distinte, che racchiudono la durata centrale della wake word e un segmento transizionale post-wake, la rete viene ottimizzata per favorire rapide riassegnazioni di probabilità ai confini dell’enunciato. La validazione, condotta sia su registrazioni sintetiche in dominio sia su dati reali fuori dominio, fornisce un’analisi strutturata del sistema. All’interno delle configurazioni indagate, le finestre di verifica continua e i vincoli temporali introdotti dal livello di post-elaborazione mostrano una sostanziale riduzione delle attivazioni spurie, stabilizzando efficacemente la traiettoria dei falsi allarmi pur mantenendo prestazioni di rilevamento competitive. I risultati sperimentali indicano inoltre che le feature acustiche apprese dai dati di addestramento sintetici sono in grado di trasferirsi con successo sul parlato umano reale, superando il divario tra i diversi domini. Questo equilibrio operativo viene raggiunto preservando un’impronta parametrica contenuta, offrendo un valido paradigma alternativo per lo sviluppo orientato ai sistemi embedded.