Auto-BFV for privacy-preserving machine learning

Homomorphic Encryption (HE) is a relatively recent technology, capable of encrypting data asymmetrically, while preserving the additive and multiplicative properties of the plain context. This framework is largely implemented in many areas, but some fields are still backward in its adoption, such as Machine Learning (ML) and Deep Learning (DL). That is primarily due to its limitations and the computational problems it brings up, in terms of resources and time required, even larger than the ones needed in a plain environment, making Privacy-Preserving Machine Learning a rarely applicable technology. The literature presents several solutions proposed to overcome some intrinsic constraints and limit the impact of working in an encrypted environment, by means of custom developed, invasive compilers and optimizers. In fact, such algorithms usually perform a modification of the models trying to compute, focusing on manipulating their structure instead of finding the most efficient configuration to run them with. This is the core concept of this thesis, seeking to fill such gaps by means of a two-phases approach. Firstly, an equivalent, yet computationally lighter, surrogate of the given Convolutional Neural Network (CNN) is generated by a dedicated network simplifier. Subsequently, an optimization step is conducted leveraging a Particle Swarm Optimization (PSO) model to find a sub-optimal set of configuration parameters in a predefined search space. The experimental campaign, composed of tests with different networks and datasets, shows quite satisfactory, yet improvable, results, highlighting the introduction of some uncertainties on the data, but preserving the classification capabilities of the models.

Homomorphic Encryption (HE), ovvero la crittografia omomorfica, è una tecnologia relativamente recente, capace di crittografare dati in modo asimmetrico, pur conservando le proprietà additive e moltiplicative del contesto in chiaro. Questa struttura è ampiamente implementata in molti settori, ma alcuni campi sono ancora indietro nella sua adozione, come il Machine Learning (ML) e il Deep Learning (DL). Ciò è dovuto principalmente alle sue limitazioni e ai problemi computazionali che comporta, in termini di risorse e tempo richiesti, anche maggiori di quelli necessari in un ambiente in chiaro, rendendo il Privacy-Preserving Machine Learning una tecnologia raramente applicabile. La letteratura presenta diverse soluzioni proposte per superare alcuni vincoli intrinseci e limitare l’impatto dell’operare in un ambiente criptato, per mezzo di compilatori e ottimizzatori dedicati, ma invasivi. Infatti, questi algoritmi di solito eseguono una modifica dei modelli che cercano di calcolare, concentrandosi sulla manipolazione della loro struttura anzichè trovare la configurazione più efficiente per eseguirli. Questo è il concetto centrale di questa tesi, che cerca di colmare tali lacune attraverso un approccio in due fasi. In primo luogo, viene generato un surrogato equivalente, ma computazionalmente più leggero, della Convolutional Neural Network (CNN) data, da un semplificatore della rete dedicato. Successivamente, viene condotta una fase di ottimizzazione che sfrutta un modello di Particle Swarm Optimization (PSO) per trovare un set sub-ottimale dei parametri di configurazione in uno spazio di ricerca predefinito. La campagna sperimentale, composta da test con diverse reti e dataset, mostra risultati abbastanza soddisfacenti, ma migliorabili, evidenziando l’introduzione di alcune incertezze sui dati, ma conservando le capacità di classificazione dei modelli.