Single-Photon Avalanche Diode (SPAD) sensors provide asynchronous streams of photon detections with single-photon sensitivity and precise timing, making them attractive for low-light visual sensing. However, their output is sparse, noisy, variable in length, and defined in continuous time, whereas conventional computer-vision pipelines typically require dense frame-like tensors. This thesis addresses two main questions: whether low-luminosity time-resolved SPAD streams can be processed directly for classification, without first reconstructing an intensity image, and whether this processing can be structured in an event-driven form. To address these questions, the thesis proposes an Asynchronous Spiking Event Convolution block, denoted ASEConv, which transforms photon arrivals into ``Spike Intent Maps'' by exploiting the asynchronous and sparse structure of the input stream. The proposed solution combines direct continuous-time event processing, spiking feature extraction, contextual filtering of weak or isolated responses, and compatibility with both conventional and spiking downstream classifiers. The thesis contributes a direct-event classification front-end, an experimental comparison with reconstruction-based baselines and a partial-stream evaluation protocol. Experiments on TR-MNIST show that ASEConv-based models are competitive with reconstruction-first approaches at 10, 20, and 40 mlux, and that spiking backbones further improve performance in the tested configurations when sufficient photon evidence is available. The method is less effective at 5 mlux, where the count-based reconstruction baseline remains stronger, indicating that direct event processing requires coherent local structure in the stream. Partial-stream experiments at 320 mlux show a modest advantage over capped reconstruction; however, because TR-MNIST is static and low-resolution, the observable benefit of temporal processing remains limited. Overall, the results indicate that asynchronous spiking front-ends are a viable direction for SPAD classification, while motivating more expressive neuron dynamics, more general filtering mechanisms, and evaluation on richer dynamic SPAD benchmarks.

I Diodi Fotorivelatori a Singolo Fotone (SPAD) sono sensori che producono flussi asincroni di rilevamenti fotonici con sensibilità al singolo fotone e temporizzazione ad alta precisione: caratteristiche che li rendono particolarmente interessanti per la visione artificiale in condizioni di scarsa illuminazione. Tuttavia, il loro output è sparso, rumoroso, di lunghezza variabile e definito nel tempo continuo, mentre le pipeline convenzionali di computer vision richiedono tipicamente tensori densi, strutturati a frame. Questa tesi affronta quindi due domande principali: se flussi SPAD time-resolved acquisiti in condizioni di bassa luminosità possano essere elaborati direttamente a fini di classificazione, senza ricostruire preliminarmente un'immagine di intensità, e se tale elaborazione possa essere strutturata in forma event-driven. Per rispondere a queste domande, la tesi propone un blocco di Convoluzione Asincrona di natura Spiking ed Event-driven, denominato ASEConv, che trasforma gli arrivi fotonici in ``Spike Intent Maps'' sfruttando la struttura asincrona e sparsa del flusso in ingresso. La soluzione proposta integra l'elaborazione diretta di eventi nel tempo continuo, l'estrazione di feature tramite meccanismi spiking, il filtraggio contestuale di risposte deboli o isolate, e la compatibilità sia con classificatori downstream convenzionali sia con classificatori spiking. La tesi contribuisce quindi con un front-end per la classificazione diretta da eventi, un confronto sperimentale con baseline basate su ricostruzione e un protocollo di valutazione su flussi parziali. Gli esperimenti su TR-MNIST mostrano che i modelli basati su ASEConv sono competitivi rispetto agli approcci reconstruction-first a 10, 20 e 40 mlux, e che le backbone spiking migliorano ulteriormente le prestazioni nelle configurazioni testate quando è disponibile una quantità sufficiente di evidenza fotonica. Il metodo risulta meno efficace a 5 mlux, dove la baseline di ricostruzione basata sul conteggio si dimostra più robusta: ciò suggerisce che l'elaborazione diretta degli eventi richiede una presenza minima di struttura locale coerente nel flusso. Gli esperimenti su flussi parziali a 320 mlux mostrano un modesto vantaggio rispetto alla ricostruzione con numero massimo di eventi fissato; tuttavia, poiché TR-MNIST è statico e a bassa risoluzione, il beneficio osservabile dell'elaborazione temporale rimane contenuto. Nel complesso, i risultati indicano che i front-end asincroni spiking rappresentano una direzione promettente per la classificazione con sensori SPAD, motivando al contempo lo sviluppo di dinamiche neuronali più espressive, meccanismi di filtraggio più generali e la valutazione su benchmark SPAD dinamici più ricchi.

Beyond frames: classifying asynchronous SPAD streams with spiking neural networks

RELLA, ANDREA
2025/2026

Abstract

Single-Photon Avalanche Diode (SPAD) sensors provide asynchronous streams of photon detections with single-photon sensitivity and precise timing, making them attractive for low-light visual sensing. However, their output is sparse, noisy, variable in length, and defined in continuous time, whereas conventional computer-vision pipelines typically require dense frame-like tensors. This thesis addresses two main questions: whether low-luminosity time-resolved SPAD streams can be processed directly for classification, without first reconstructing an intensity image, and whether this processing can be structured in an event-driven form. To address these questions, the thesis proposes an Asynchronous Spiking Event Convolution block, denoted ASEConv, which transforms photon arrivals into ``Spike Intent Maps'' by exploiting the asynchronous and sparse structure of the input stream. The proposed solution combines direct continuous-time event processing, spiking feature extraction, contextual filtering of weak or isolated responses, and compatibility with both conventional and spiking downstream classifiers. The thesis contributes a direct-event classification front-end, an experimental comparison with reconstruction-based baselines and a partial-stream evaluation protocol. Experiments on TR-MNIST show that ASEConv-based models are competitive with reconstruction-first approaches at 10, 20, and 40 mlux, and that spiking backbones further improve performance in the tested configurations when sufficient photon evidence is available. The method is less effective at 5 mlux, where the count-based reconstruction baseline remains stronger, indicating that direct event processing requires coherent local structure in the stream. Partial-stream experiments at 320 mlux show a modest advantage over capped reconstruction; however, because TR-MNIST is static and low-resolution, the observable benefit of temporal processing remains limited. Overall, the results indicate that asynchronous spiking front-ends are a viable direction for SPAD classification, while motivating more expressive neuron dynamics, more general filtering mechanisms, and evaluation on richer dynamic SPAD benchmarks.
ING - Scuola di Ingegneria Industriale e dell'Informazione
22-lug-2026
2025/2026
I Diodi Fotorivelatori a Singolo Fotone (SPAD) sono sensori che producono flussi asincroni di rilevamenti fotonici con sensibilità al singolo fotone e temporizzazione ad alta precisione: caratteristiche che li rendono particolarmente interessanti per la visione artificiale in condizioni di scarsa illuminazione. Tuttavia, il loro output è sparso, rumoroso, di lunghezza variabile e definito nel tempo continuo, mentre le pipeline convenzionali di computer vision richiedono tipicamente tensori densi, strutturati a frame. Questa tesi affronta quindi due domande principali: se flussi SPAD time-resolved acquisiti in condizioni di bassa luminosità possano essere elaborati direttamente a fini di classificazione, senza ricostruire preliminarmente un'immagine di intensità, e se tale elaborazione possa essere strutturata in forma event-driven. Per rispondere a queste domande, la tesi propone un blocco di Convoluzione Asincrona di natura Spiking ed Event-driven, denominato ASEConv, che trasforma gli arrivi fotonici in ``Spike Intent Maps'' sfruttando la struttura asincrona e sparsa del flusso in ingresso. La soluzione proposta integra l'elaborazione diretta di eventi nel tempo continuo, l'estrazione di feature tramite meccanismi spiking, il filtraggio contestuale di risposte deboli o isolate, e la compatibilità sia con classificatori downstream convenzionali sia con classificatori spiking. La tesi contribuisce quindi con un front-end per la classificazione diretta da eventi, un confronto sperimentale con baseline basate su ricostruzione e un protocollo di valutazione su flussi parziali. Gli esperimenti su TR-MNIST mostrano che i modelli basati su ASEConv sono competitivi rispetto agli approcci reconstruction-first a 10, 20 e 40 mlux, e che le backbone spiking migliorano ulteriormente le prestazioni nelle configurazioni testate quando è disponibile una quantità sufficiente di evidenza fotonica. Il metodo risulta meno efficace a 5 mlux, dove la baseline di ricostruzione basata sul conteggio si dimostra più robusta: ciò suggerisce che l'elaborazione diretta degli eventi richiede una presenza minima di struttura locale coerente nel flusso. Gli esperimenti su flussi parziali a 320 mlux mostrano un modesto vantaggio rispetto alla ricostruzione con numero massimo di eventi fissato; tuttavia, poiché TR-MNIST è statico e a bassa risoluzione, il beneficio osservabile dell'elaborazione temporale rimane contenuto. Nel complesso, i risultati indicano che i front-end asincroni spiking rappresentano una direzione promettente per la classificazione con sensori SPAD, motivando al contempo lo sviluppo di dinamiche neuronali più espressive, meccanismi di filtraggio più generali e la valutazione su benchmark SPAD dinamici più ricchi.
File allegati
File Dimensione Formato  
2026_07_Rella_Tesi_FINALE.pdf

non accessibile

Descrizione: Corpo principale della tesi
Dimensione 4.71 MB
Formato Adobe PDF
4.71 MB Adobe PDF   Visualizza/Apri
2026_07_Rella_ES_FINALE.pdf

non accessibile

Descrizione: Executive Summary
Dimensione 681.42 kB
Formato Adobe PDF
681.42 kB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/260806