HEnets: paving the way for transformers with homomorphic encryption

In recent years, Deep Neural Networks (DNNs) have brought a substantial transformation in several domains, including natural language processing, picture recognition, and scientific research. However, implementing DNNs in practical applications rises concerns over data privacy, especially when handling sensitive or confidential information. Homomorphic Encryption (HE) provides a potential solution for enabling calculations on encrypted data while maintaining the confidentiality of its content. Nonetheless, HE poses constraints that limit its application to common DNNs architectures. Notably, one of the main challenges is defined by the operational constraints imposed by HE schemes, which are not compatible with non-linear operations, but commonly only with additions and multiplications. This functional limitation must be overcome through a model approximation phase which modifies the architecture of the neural network making it compliant with the above mentioned constraints. By developing a framework for approximating non-polynomial operations with polynomial alternatives, this thesis tackles the problem of designing privacy-preserving DNNs consistent with HE operational limitations. The proposed framework, \textit{HEnets}, enables the automated approximation and training of HE compliant models by means of a multi-step optimization procedure. A specific emphasis is placed on modifying transformer-based models, whose composing blocks perform computations that are inherently incompatible with HE constraints. Therefore, this work presents two main contributions: a methodology and a framework for modifying DNNs to comply with HE operational constraints, and the proposal of a model approximation process - using the presented methodology - for transformer-based architectures. Empirical findings confirm the effectiveness of the framework and the challenges to be faced when applying such model modification methodology to commonly used deep architectures. Hence, this study offers an approach to standardize and speed up a fundamental phase needed for securing DNNs using HE, towards the the adaptation of more complex architectures.

Negli ultimi anni, le Deep Neural Networks (DNNs) hanno portato una trasformazione sostanziale in diversi ambiti, tra cui l'elaborazione del linguaggio naturale, il riconoscimento delle immagini e la ricerca scientifica. Tuttavia, l'implementazione delle DNN in applicazioni pratiche solleva preoccupazioni sulla privacy dei dati, in particolare quando si gestiscono informazioni sensibili o riservate. L' Homomorphic Encryption (HE) fornisce una potenziale soluzione per abilitare calcoli su dati crittografati mantenendo la riservatezza del loro contenuto. Tuttavia, l' HE pone dei vincoli che limitano la sua applicazione alle comuni architetture delle DNNs. In particolare, una delle principali sfide è definita dai vincoli operativi imposti dagli schemi di HE, che non sono compatibili con operazioni non lineari, ma comunemente solo con addizioni e moltiplicazioni. Questa limitazione funzionale deve essere superata tramite una fase di approssimazione del modello che modifica l'architettura della rete neurale rendendola conforme ai vincoli sopra menzionati. Sviluppando un framework per approssimare operazioni non polinomiali con alternative polinomiali, questa tesi affronta il problema della progettazione delle DNNs che preservano la privacy in modo coerente con le limitazioni operative degli schemi di HE. Il framework proposto, \textit{HEnets}, consente l'approssimazione e l'addestramento automatizzati di modelli conformi all' HE mediante una procedura di ottimizzazione a più fasi. Un'enfasi specifica è posta sulla modifica dei modelli basati sul transformer, i cui componenti eseguono calcoli che sono intrinsecamente incompatibili con i vincoli dell' HE. Pertanto, questo lavoro presenta due contributi principali: una metodologia e un framework per modificare le reti neurali per conformarsi ai vincoli operativi dell' HE e la proposta di un processo di approssimazione del modello - utilizzando la metodologia presentata - per architetture basate sul transformer. I risultati empirici confermano l'efficacia del framework e le sfide da affrontare quando si applica tale metodologia di modifica del modello ad architetture profonde e comunemente utilizzate. Quindi, questo studio offre un approccio per standardizzare e accelerare una fase fondamentale necessaria per proteggere le DNNs utilizzando l' HE, verso l'adattamento di architetture più complesse.