Temporally adaptive image reconstruction pipeline for photon-counting imaging devices

Quanta Image Sensors (QIS) are photon counting devices capturing the scene as a 3D volume of binary frames, in which each pixel set to 1 encodes whether one or more photons were detected during the frame exposure time. These binary frames are then temporally aggregated to reduce the shot noise before reconstructing the incoming photon flux to form the final image. In presence of scene dynamics or camera motion, the burst averaging approach to compute a temporal aggregation fails, as it combines photons from different fluxes, leading to biased flux estimates. We present a novel temporal aggregation algorithm that detects flux changes by monitoring the Exponentially Weighted Moving Average (EWMA) statistics of photon hits in each pixel. By leveraging detection thresholds computed through a customized Monte Carlo procedure, the distribution of false positives can be controlled, ensuring stable detection performance across different flux intensities and ease the algorithm configuration. Moreover, the test is lightweight and suitable for in-sensor computation, avoiding massive throughput of binary data. The proposed temporal aggregation algorithm is part of a three-step image filtering pipeline that removes structural defects and suppresses shot noise, enabling clean vision at extremely low light or of very fast motion.

I sensori d'immagine a quanti (QIS) sono dei dispositivi in grado di rilevare l'arrivo di fotoni e che catturano la scena come un volume 3D di fotogrammi binari, i cui pixel hanno valore 1 se uno o più fotoni sono stati percepiti durante il periodo di esposizione del fotogramma. Questi fotogrammi binari sono poi aggregati temporalmente per ridurre il rumore shot prima di ricostruire il flusso incidente. In presenza di dinamiche della scena o di movimento della camera, l’approccio basato sulla media della raffica di fotogrammi per calcolare un aggregato temporale fallisce, dato che combina fotoni provenienti da diversi flussi, ottenendo delle stime del flusso deviate. Presentiamo un nuovo algoritmo di aggregazione temporale che rileva i cambiamenti nel flusso tramite il monitoraggio della statistica basata su una media mobile esponenzialmente ponderata (EWMA) degli arrivi dei fotoni in ciascun pixel. Attraverso delle soglie calcolate tramite una procedura Monte Carlo su misura, si può controllare la distribuzione dei falsi positivi, garantendo prestazioni di rilevamento stabili su flussi di intensità differenti e semplificando la configurazione dell'algoritmo. Per di più, il test è leggero e adatto per essere realizzato nel sensore, riducendo la massiccia portata di dati binari prodotti. L'algoritmo per l'aggregazione temporale proposto è parte di una catena di elaborazione in tre fasi per il filtraggio d'immagine che rimuova i difetti strutturali e sopprima il rumore shot, permettendo una chiara visione in condizioni di luce estremamente bassa o di movimento molto rapido.