On linear and quadratic training methods for deep learning

Since they were proposed, artificial neural networks (NN) have received ever growing interest and they went, thanks to the increasing computational power available, from mere theoretical studies to an established tool with impact in a large number of technological and scientific applications. Usage of this kind of models requires tuning of their parameters via a procedure called learning, which is based on a set of data. This thesis studies the learning problem from the point of view of numerical optimization, and proposes several new algorithms. The latter are tested and compared with the state-of-the-art on the same learning tasks, in order to draw conclusions on their strengths and weaknesses.

Da quando furono proposte, le reti neurali artificiali (NN) hanno suscitato un interesse sempre crescente e sono arrivate, grazie alla crescente potenza computazionale disponibile, da semplici studi teorici a strumento affermato con impatto su un gran numero di applicazioni tecnologiche e scentifiche. L'uso di questo tipo di modelli richiede di tararne i parametri tramite una procedura detta apprendimento, che si basa su un set di dati. Questa tesi studia il problema di apprendimento dal punto di vista dell'ottimizzazione numerica, e propone diversi nuovi algoritmi. Questi ultimi sono testati e comparati con lo stato dell'arte sugli stessi problemi di apprendimento, così da poter trarre conclusioni sui loro punti di forza e debolezze.