Parametric machines: generalization and explainability in deep learning

The lack of a formal definition makes the design, implementation, and deployment of deep neural network a time-consuming and highly specialized task. We test the parametric machine framework---a formal generalization of deep neural architectures---on two classical deep-learning applications: time series forecast and classification. First, we show how novel architectures drawn form the space of parametric machines can compete and perform better than their classical counterpart on an electrocardiogram classification task. There, we introduce a regularization technique for parametric machines and an explainability algorithm allowing us to compute a notion of uncertainty on an input-by-input basis. Second, we employ parametric machines to forecast electrical energy consumption. We compare the performance attained by the machines with comparable classical deep neural networks. Then, we investigate the generalization capabilities of the models.

La mancanza di una definizione formale rende l'implementazione di reti neurali un compito altamente specializzato e che richiede molto tempo. In questo articolo, abbiamo proposto due casi studio riguardanti la classificazione e la predizione di serie temporali utilizzando le macchine parametriche, una generalizzazione formale di reti neurali. Nel corso di questi casi studio, abbiamo dimostrato come le macchine parametriche siano in grado di competere e di conseguire prestazioni migliori rispetto ai corrispondenti omologhi classici, in particolare in un compito di classificazione di elettrocardiogrammi. In aggiunta, abbiamo introdotto una tecnica di regolarizzazione per le macchine parametriche e un algoritmo finalizzato al calcolo di una nozione di incertezza. Abbiamo poi applicato le macchine parametriche ad un problema di forecasting riguardante consumo di energia elettrica, confrontando le performance con quelle ottenute da architetture moderne, dopo averli resi comparabili a livello di struttura, per poi investigare sulla capacità di generalizzazione di questi modelli.