CryptoCortex: high-accuracy, high-throughput inference of convolutional neural networks under homomorphic encryption

The increasing demand for privacy-preserving machine learning has driven interest in homomorphic encryption (HE) as a means of enabling secure inference on sensitive data. However, current approaches suffer from high computational overhead, limited operation depth, and reduced model accuracy when applied to deep neural networks. This work introduces CryptoCortex, a novel framework for convolutional neural network (CNN) inference under the CKKS homomorphic encryption scheme. To mitigate the challenges of non-linear function evaluation, we approximate the ReLU and Softplus activation function using minimax polynomials derived via the Remez algorithm and enhance approximation robustness through dynamic domain resizing. The framework supports seamless conversion of ReLU-trained and Softplus-trained models into polynomial-based encrypted inference without retraining, preserving model integrity while enabling efficient execution on encrypted datasets. Experimental results demonstrate that CryptoCortex achieves near-plain-text accuracy on standard benchmarks, with 98.41% accuracy on MNIST, significantly outperforming prior HE-based solutions such as CryptoNets in throughput. Moreover, the framework attains reduced inference latency by optimizing cipher-text packing and homomorphic operations, ensuring scalability to deeper architectures. These findings establish CryptoCortex as a practical and publicly accessible solution for high-accuracy, high-throughput encrypted inference, thereby advancing the secure deployment of machine learning models in privacy-sensitive domains such as healthcare, finance, and critical infrastructure.

L'aumento della domanda di tecnologie di machine learning orientate alla tutela della privacy ha alimentato l'interesse verso la crittografia omomorfica (HE) come strumento per abilitare l'inferenza sicura su dati sensibili. Tuttavia, gli approcci esistenti presentano un elevato costo computazionale, una profondità operativa limitata e una riduzione dell'accuratezza dei modelli quando applicati a reti neurali profonde. In questo lavoro presentiamo CryptoCortex, un framework innovativo per l'inferenza di reti neurali convoluzionali (CNN) basato sullo schema di crittografia omomorfica CKKS. Per affrontare le sfide legate alla valutazione di funzioni non lineari, le funzioni di attivazione ReLU e Softplus vengono approssimate mediante polinomi minimax derivati tramite l'algoritmo di Remez, mentre la robustezza dell'approssimazione è migliorata attraverso un ridimensionamento dinamico del dominio. Il framework consente la conversione diretta di modelli addestrati con ReLU o Softplus in modelli polinomiali per l'inferenza cifrata, senza necessità di riaddestramento, preservando l'integrità del modello e garantendo un'esecuzione efficiente su dataset cifrati. I risultati sperimentali mostrano che CryptoCortex raggiunge un'accuratezza prossima a quella in chiaro sui benchmark standard, ottenendo il 98.41% su MNIST e superando significativamente le precedenti soluzioni basate su HE, come CryptoNets, in termini di throughput. Inoltre, il framework riduce la latenza di inferenza grazie all'ottimizzazione del packing dei ciphertext e delle operazioni omomorfiche, assicurando la scalabilità verso architetture più profonde. Nel complesso, CryptoCortex si propone come una soluzione pratica e pubblicamente accessibile per l'inferenza cifrata ad alta accuratezza e throughput elevato, promuovendo la diffusione sicura di modelli di apprendimento automatico in domini sensibili alla privacy quali sanità, finanza e infrastrutture critiche.