POPNASv2 : efficient neural architecture search through time-accuracy optimization

Automating the research for the best neural network model is a task that has gained more and more relevance in the last few years. In this context, Neural Architecture Search (NAS) represents the most effective technique whose results rival the state of the art hand-crafted architectures. However, this approach requires a lot of computational capabilities as well as research time, which make prohibitive its usage in many real-world scenarios. With its sequential model-based optimization strategy, Progressive Neural Architecture Search (PNAS) represents a possible step forward to face this resources issue. Despite the quality of the found network architectures, this technique is still limited in research time. Further improvements have been done by Pareto-Optimal Progressive Neural Architecture Search (POPNAS), which expand PNAS with a time predictor to enable a trade-off between search time and accuracy, considering a multi-objective optimization problem. This thesis proposes a new version of the Pareto-Optimal Progressive Neural Architecture Search, called POPNASv2. This work enhances its first version, improving its performance regarding both search time and accuracy of the top networks. The search space has been expanded with new operator, while the quality of both predictors have been improved to build more accurate Pareto fronts. Moreover, this new search strategy introduces cell equivalence checks and an adaptive greedy exploration step. These changes allow POPNASv2 to achieve PNAS-like performance with an average 4x factor research time speed-up.

Automatizzare la ricerca di architetture di reti neurali efficaci per un determinato dataset è diventato un ambito estremamente rilevante negli ultimi anni. La tecnica più efficace in questo contesto è la "Neural Architecture Search" (NAS), ovvero l'utilizzo di algoritmi in grado di ricercare reti neurali ottimali all'interno di uno spazio di ricerca ben definito. Le architetture trovate da questi algoritmi competono o superano l'accuratezza raggiunta da architetture progettate dall'uomo, però molto spesso il processo di ricerca richiede l'utilizzo di molta potenza computazionale per lunghi periodi di tempo. Con la sua ricerca sequenziale, Progressive Neural Architecture Search (PNAS) rappresenta un possibile passo avanti nel ridurre l'utilizzo di risorse necessarie per questi tipi di metodi. Nonostante l'alta qualità delle reti trovate e la maggiore efficienza rispetto ai metodi precedenti, questa tecnica richiede ancora considerevoli risorse per essere attuata. La prima versione di Pareto-Optimal Progressive Neural Architecture Search (POPNAS) migliora ulteriormente l'efficienza di PNAS, espandendolo con un predittore dei tempi di training, permettendo di considerare la ricerca come un problema di ottimizzazione combinato di tempi e accuratezze. Questa tesi propone una nuova versione di Pareto-Optimal Progressive Neural Architecture Search, chiamata POPNASv2, migliorandone sia i tempi di ricerca che l'accuratezza raggiunta dalle reti migliori. Lo spazio di ricerca è stato esteso con nuovi operatori, mentre la qualità dei predittori è stata migliorata al fine di costruire fronti di Pareto più accurati. Inoltre, questo nuova strategia di ricerca introduce controlli sulla equivalenza delle celle e uno step di esplorazione adattivo. Questi cambiamenti permettono a POPNASv2 di raggiungere accuratezze simili a PNAS, riducendo i tempi di ricerca di un fattore 4x.