A survey on Zero Knowledge proofs and their applications on machine learning

Machine Learning (ML) is a discipline that has seen increasing use in many services offered to users, both in critical processes, such as autonomous driving and personal health, and in less critical processes such as chat-bots or virtual assistants and recommendation systems. In many cases, the models used are owned by the service providers and therefore cannot be revealed to the public. This has important consequences, in fact: it is not possible to be certain that a result has been produced using the declared model from the data provided. Secondly, it is not possible to verify that the declared properties of a model are valid and present. Besides it is not possible to be certain that the production process of a model has followed certain rules. This is due to the secrecy of the model, which therefore prevents direct inspection. For this reason, Zero Knowledge Proof (ZKP) is a candidate as a plausible solution. This methodology makes it possible to obtain evidence on the actual execution of a computation, guaranteeing the secrecy of those elements that may not be revealed. Given that ZKP can be applied to all kinds of general-purpose computations, it follows that it is also possible to apply it to ML computations. Given the novelty of this combined approach (ZKP and ML), it is interesting to understand its feasibility and any critical points to focus on. Initially, this thesis will offer an analysis of ZKP by highlighting the main protocols and outlining characteristics that allow an assessment of their suitability for ML. Next, a quantitative analysis regarding the application of ZKP techniques on some ML models will be proposed to outline the performance of this approach and identify which approaches are the most promising. Afterwards, we present an analysis of the initial solutions proposed in the literature that attempt to apply ZKP to ML models. Last but not least, we will briefly discuss some future works and directions which can help in overcoming some of the problems we detected during our analysis.

Il Machine Learning (ML) è una disciplina che ha visto un utilizzo sempre più crescente in molti servizi proposti agli utenti, sia in processi critici, come nel caso della guida autonoma e della salute personale, sia in processi meno critici come chatbot o assistenti virtuali e sistemi di raccomandazione. In molti casi, i modelli utilizzati sono di proprietà dei fornitori dei servizi e quindi non possono essere svelati al pubblico. Questo ha dei riscontri importanti infatti: non è possibile essere certi che un risultato sia stato effettivamente prodotto usando il modello dichiarato a partire dai dati forniti. In secondo luogo non è possibile verificare che le proprietà dichiarate di un modello siano effettivamente valide e presenti. Non è possibile nemmeno essere sicuri che il processo di produzione di un modello abbia seguito determinate regole. Tutto ciò a causa della segretezza del modello, che quindi impedisce di usare tecniche di ispezione in chiaro. Per questo motivo, Zero Knowledge Proof (ZKP) si candida come una plausibile soluzione. Infatti questa metodologia permette di ottenere delle prove sull'effettiva esecuzione di una computazione, garantendo la segretezza degli elementi che non sono da tenere in chiaro. Dato che le computazioni su cui è possibile applicare ZKP sono di tipo general-purpose, ne consegue che è possibile percorrere questa strada anche per computazioni di ML. Data la novità di questo approccio combinato (ZKP e ML), è interessante capire quale sia la sua fattibilità ed eventuali punti critici su cui porre l'attenzione. Inizialmente in questa tesi si offrirà un'analisi riguardo a ZKP evidenziando i protocolli principali e delineando caratteristiche che ne permettano una valutazione sulla loro adeguatezza per il ML. Successivamente verrà proposta un'analisi quantitativa riguardante l'applicazione di tecniche ZKP su alcuni modelli di ML allo scopo di delineare le performance di questo approccio e identificare quali sono gli approcci più promettenti. Dopodichè ci sarà un'analisi di alcune delle soluzioni correnti proposte in letteratura. Infine ci sarà una breve discussione riguardo possibili sviluppi futuri relativi a questo ambito, con l'obiettivo di affrontare alcune delle problematiche che sono emerse durante la nostra analisi.