Optimal feature rescaling in machine learning based on neural network

The use of machine learning and deep learning algorithms in many industrial fields is becoming an established reality day by day. In particular, the study of neural networks is still in constant evolution. The goal of this thesis is to outline a method aimed at improving the prediction performances of a neural network in order to solve regression problems. The method described and tested in the thesis is called Optimal Feature Rescaling (OFR). This technique consists in multiplying the dataset variables with parameters chosen in an optimal way by solving a global optimization program through the use of a genetic algorithm. The OFR method is useful when the training problem is non-convex, since it tries to avoid the trap of local minima. To test the OFR technique, a case study was taken into consideration: the roundness prediction in a centerless grinding machining operation. The tests carried out showed positive results demonstrating how, by re-scaling the variables in an optimal way, it is actually possible to obtain better prediction performances. The non-convexity of the training problem is demonstrated by the fact that different rescaling factors lead to different network performances, i.e. different local minima of the validation error, while in convex problems each local minimum is also global. The proposed method compensates the non-convexity of the training procedure. Then, if desired, any feature scaling can be recovered by modifying the first layer weights of the considered neural network. In this thesis, the parameters obtained through the OFR technique were used so that the network is able to implicitly perform the rescaling of the variables during the prediction phase.

L'utilizzo di algoritmi di machine learning e deep learning sta diventando giorno dopo giorno una realtà affermata in molti settori. In particolare, lo studio delle reti neurali è tutt'oggi in continua evoluzione. Lo scopo di questa tesi è di delineare un metodo volto a migliorare le performance di predizione di una rete neurale al fine di risolvere problemi di regressione. Il metodo descritto e testato nella tesi prende il nome di Optimal Feature Rescaling (OFR). Tale tecnica consiste nel moltiplicare le variabili del dataset con dei parametri scelti in modo ottimale risolvendo un programma di ottimizzazione globale mediante l'utilizzo di un algoritmo genetico. Il metodo OFR è utile quando il problema di addestramento è non-convesso, in quanto cerca di evitare la trappola dei minimi locali. Per testare la tecnica OFR è stato preso in considerazione un caso di studio: la predizione della rotondità dei pezzi in uscita da un processo di rettifica senza centri. I test effettuati hanno portato risultati positivi dimostrando come, ri-scalando in modo ottimale le variabili, si riesca effettivamente ad ottenere migliori performance di predizione. La non-convessità del problema di addestramento è dimostrata dal fatto che fattori di riscalamento diversi portano a diverse prestazioni della rete, ovvero a diversi minimi locali dell'errore di validazione, mentre nei problemi convessi ogni minimo locale è anche globale. Il metodo proposto compensa la non-convessità della procedura di addestramento. Quindi, se lo si desidera, qualsiasi ridimensionamento delle variabili può essere recuperato modificando i pesi del primo livello della rete neurale considerata. In questa tesi, i parametri ottenuti attraverso la tecnica OFR sono stati utilizzati in modo che la rete sia in grado di eseguire implicitamente il rescaling delle variabili durante la fase di predizione.