Exploring deep learning Leakage Assessment on a hardware Ascon implementation

Side-channel leakage assessment is essential to ensure the physical security of cryptographic implementations. While statistical approaches such as the Test Vector Leakage Assessment (TVLA) remain widely used, the Deep Learning Leakage Assessment (DL-LA) has recently emerged as a promising alternative. However, its comparative performance against advanced statistical techniques, including higher-order and multivariate TVLA variants, is still poorly understood. This work investigates whether DL-LA offers tangible advantages over TVLA under well-defined evaluation criteria. To enable a fair comparison and fully leverage deep learning's capabilities, the study also examines whether tailoring the neural network architecture to the device under test (DUT) can improve DL-LA’s effectiveness relative to generic state-of-the-art models. All experiments were conducted on an FPGA implementation of the Ascon-AEAD128 scheme protected with first-order Domain-Oriented Masking (DOM). Both Multi-Layer Perceptrons (MLP) and Convolutional Neural Networks (CNN) were evaluated, using Optuna’s multi-objective optimization framework for hyperparameter tuning. The results show that CNNs consistently outperform MLPs and that model-specific tuning can further enhance performance. Building on these findings, we demonstrate that while DL-LA is capable of confidently detecting second-order leakage with approximately 30,000 traces, the second-order TVLA achieves the same result with as few as 10,000 traces and higher confidence levels. The study also reveals important limitations of DL-LA. In addition to its higher time and computational costs, the method lacks a reliable mechanism for determining the order of leakage, which limits the interpretability of its results and reduces its usefulness for practical assessments of side-channel resistance.

Verificare l'assenza di side-channel leakage è fondamentale per garantire la sicurezza delle implementazioni crittografiche. I metodi statistici, come il Test Vector Leakage Assessment (TVLA), rappresentano ormai uno standard consolidato, ma negli ultimi anni il Deep Learning Leakage Assessment (DL-LA) è emerso come possibile alternativa. Rimane tuttavia poco chiara la sua reale efficacia rispetto alle tecniche statistiche più avanzate, incluse le varianti TVLA di ordine superiore e quelle multivariate. Questo lavoro indaga se DL-LA possa offrire vantaggi concreti rispetto a TVLA, sulla base di criteri di valutazione ben definiti. Inoltre, per garantire un confronto equo e sfruttare appieno il potenziale delle reti neurali, si esamina in che misura l'ottimizzazione degli iperparametri specifica per il dispositivo in analisi possa migliorare l’efficacia di DL-LA rispetto ai modelli generici proposti in letteratura. Gli esperimenti sono stati condotti su un’implementazione FPGA dello schema Ascon-AEAD128, protetta mediante Domain-Oriented Masking (DOM) al primo ordine. Sono stati valutati sia modelli Multi-Layer Perceptron (MLP) sia Convolutional Neural Network (CNN), utilizzando il framework Optuna per l’ottimizzazione multi-obiettivo degli iperparametri. I risultati mostrano che le CNN superano sistematicamente gli MLP e che il tuning degli iperparametri ne migliora ulteriormente le prestazioni. Sulla base di tali risultati, si dimostra che, mentre DL-LA è in grado di rilevare side-channel leakage con 30.000 tracce, TVLA al secondo ordine ottiene lo stesso risultato con appena 10.000 tracce e livelli di confidenza più elevati. Infine, lo studio evidenzia importanti limitazioni di DL-LA. Oltre a richiedere un impiego significativamente maggiore di tempo e risorse computazionali, il metodo non fornisce un meccanismo affidabile per determinare l’ordine del leakage, riducendo così l’interpretabilità e il valore pratico dei risultati.