Searching neural architectures with constraints

It is undeniable that Machine Learning (ML) has opened up a wealth of promising opportunities. AutoML takes another step forward by automating the whole ML pipeline opening the doors to even more possible applications of ML techniques. In particular, a method of AutoML named Neural Architecture Search (NAS) is becoming really popular due to its proven effectiveness. This technique aims at discovering the best architecture for a neural network for a specific need automating the design of the neural network. Many NAS algorithms are built on top of a Once-For-All (OFA) network, a supernet that encompasses many configurations of networks that is the search space for the procedure. The main advantage of this supernet is the decoupling of search and training, making it computationally feasible to perform the search by training the supernet once and evaluating the subnetworks through inference. Among this class of NAS methods, MSUNAS (Evolutionary Multi Objective Surrogate-Assisted NAS) has shown great results. Our work proposes the enhancement of MSUNAS leading to the setup of a Constrained Neural Architecture Search (CNAS) through the use of constraints that can be tailored to specific purposes, instead of the standard optimization indexes. To prove the validity and the variety of applications of our novelties, we conduct experiments of the CNAS on two case studies that come from the recent literature, which are TinyML and Privacy-Preserving Deep Learning with Homomorphic Encryption (PPDL-HE), and on a real scenario. The results show that it is possible to automatize the construction of efficient neural networks imposing constraints specific to a given task with a great degree of flexibility in terms of application scenarios.

È innegabile che il Machine Learning (ML) abbia aperto una vasta gamma di opportunità promettenti. AutoML fa un altro passo avanti automatizzando l’intera pipeline del ML aprendo le porte ad ancora più possibili applicazioni delle tecniche di ML. In particolare, un metodo di AutoML chiamato Neural Architecture Search (NAS) sta diventando molto popolare grazie alla sua comprovata efficacia. Questa tecnica mira a scoprire la migliore architettura per una rete neurale per una specifica task automatizzando la costruzione della rete neurale. Molti algoritmi NAS sono costruiti su una rete chiamata Once-For-All (OFA), una macro rete che comprende molte possibili configurazioni di reti e che è lo spazio di ricerca per il nostro algoritmo di ricerca. Il vantaggio principale di questa macro rete è il disaccoppiamento tra ricerca e addestramento, rendendo possibile dal punto di vista computazionale eseguire la ricerca addestrando la macro rete una volta e valutando le sottoreti tramite semplice inferenza. Tra questa classe di metodi NAS, MSUNAS (Evolutionary Multi Objective Surrogate-Assisted NAS) ha mostrato ottimi risultati. Il nostro lavoro propone il miglioramento di MSUNAS dando vita a un tipo di ricerca di architettura neurale vincolata (CNAS) attraverso l’uso di vincoli che possono essere personalizzati per scopi specifici, invece dei classici indici di ottimizzazione. Per provare la validità e la varietà di applicazioni delle nostre modifiche, abbiamo condotto esperimenti sulla nostra CNAS su due casi studio che provengono dalla letteratura attuale, che sono TinyML e Privacy-Preserving Deep learning with Homomorphic Encryption (PPDL- HE), e su uno scenario reale. I risultati mostrano che è possibile automatizzare la costruzione di reti neurali efficienti imponendo vincoli specifici per il nostro assegnato compito con un grande grado di flessibilità in termini di scenari applicativi.