Adversarial privacy: balancing accuracy and security in deep neural networks

Today, machine learning models based on deep neural networks are becoming increasingly popular for a wide range of applications. However, their predictions can reveal sensitive information about the data on which these models were trained on. The development and design of these models should take this fact into account, as it poses a privacy risk. The existing privacy preserving solutions for machine learning models use the framework of differential privacy. While these techniques provide formal privacy guarantees and are successful against certain types of privacy attacks, they have the drawback of significantly worsening the performance of the models. In this work, an alternative technique called Adversarial Privacy is proposed to enhance the privacy of deep neural networks that also aims at preserving the utility of the model. The privacy and performance of the models trained with this new technique have been compared with those of a baseline model, a model trained with the regularization techniques and a set of models trained with the differentially-private stochastic gradient descent (DP-SGD) algorithm. The experiments performed show that the new technique achieves a better utility-privacy trade-off than the techniques it was compared with.

Oggi i modelli di apprendimento automatico basati su reti neurali profonde stanno diventando sempre più popolari per un'ampia gamma di applicazioni. Tuttavia, le loro previsioni possono rivelare informazioni sensibili sui dati su cui questi modelli sono stati addestrati. Lo sviluppo e la progettazione di questi modelli devono tenere conto di questo fatto, che rappresenta un rischio per la privacy. Le soluzioni esistenti per preservare la privacy dei modelli di machine learning utilizzano il framework della differential privacy. Sebbene queste tecniche forniscano garanzie formali di privacy e siano efficaci contro alcuni tipi di attacchi alla privacy, hanno lo svantaggio di peggiorare significativamente le prestazioni dei modelli. In questo lavoro, per migliorare la privacy delle deep neural networks viene proposta una tecnica alternativa chiamata Adversarial Privacy, che mira anche a preservare l'utilità del modello. La privacy e le prestazioni dei modelli addestrati con questa nuova tecnica sono state confrontate con quelle di un modello di base, di un modello addestrato con tecniche di regolarizzazione e di un insieme di modelli addestrati con l'algoritmo di differentially-private stochastic gradient descent (DP-SGD). Gli esperimenti condotti dimostrano che la nuova tecnica raggiunge un miglior compromesso utility-privacy rispetto alle tecniche con cui è stata confrontata.