Neural architecture search for time series forecasting guided by granularity-adaptive structural priors

This thesis studies neural architecture search for multivariate time series forecasting. Modern forecasting models achieve strong performance, but their architectures and hyperparameters are still often selected through manual trial and error. This process is costly, difficult to reproduce, and hard to transfer across domains with different sampling frequencies, variable dimensions, noise levels, and temporal dynamics. Existing time-series AutoML and NAS methods either search within limited model families, rely on task-specific tuning, or do not fully exploit reusable structural knowledge across datasets. To address these challenges, this thesis proposes TSAS, a neural architecture search framework for time series forecasting guided by granularity-adaptive structural priors. TSAS first decomposes representative forecasting models into a five-stage modular search space covering data processing, covariate processing, feature extraction, feature enhancement, and prediction processing. On top of this space, MetaSeed mines coarse-grained module and hyperparameter priors from historical architecture-performance records, while COSMOS learns a fine-grained context-aware comparator that ranks candidate architectures by jointly encoding architecture tokens and dataset representations. These two sources of prior knowledge are then integrated into an evolutionary search procedure that combines prior-guided initialization, comparator-based candidate filtering, elite preservation, and controlled exploration. Experiments on nine public multivariate forecasting datasets under a Weather-style 96/96 protocol show that the proposed search space can discover architectures that outperform a strong reproduced time-series forecasting baseline on most evaluated datasets. The results also show that COSMOS-based search strategies obtain the best validation-selected results on Weather, ETTm1, and Traffic, indicating that learned structural priors can provide useful ranking signals for some target tasks. However, the advantage of COSMOS-based search is not uniform across all datasets, and the reproduced baseline remains stronger on high-dimensional Electricity and Traffic in the search-space comparison. These findings provide a balanced empirical view: modular architecture search can complement strong hand-designed forecasting backbones under a controlled Weather-style protocol, while broader meta-training coverage and stronger adaptation to high-dimensional datasets are needed for more robust cross-dataset transfer.

Questa tesi studia la ricerca di architetture neurali per la previsione multivariata di serie temporali. I modelli di previsione moderni raggiungono prestazioni elevate, ma le loro architetture e i loro iperparametri sono ancora spesso scelti tramite tentativi manuali. Questo processo è costoso, difficile da riprodurre e poco trasferibile tra domini con frequenze di campionamento, dimensionalità delle variabili, livelli di rumore e dinamiche temporali differenti. I metodi AutoML e NAS esistenti per serie temporali cercano spesso entro famiglie di modelli limitate, dipendono da una taratura specifica del task, oppure non sfruttano pienamente conoscenza strutturale riutilizzabile tra dataset. Per affrontare queste sfide, la tesi propone TSAS, un framework di ricerca di architetture neurali per la previsione di serie temporali guidato da priori strutturali adattivi alla granularità. TSAS scompone innanzitutto modelli di previsione rappresentativi in uno spazio di ricerca modulare a cinque stadi: elaborazione dei dati, elaborazione delle covariate, estrazione delle caratteristiche, miglioramento delle caratteristiche ed elaborazione della previsione. Su questo spazio, MetaSeed estrae priori a grana grossa su moduli e iperparametri da record storici architettura-prestazione, mentre COSMOS apprende un comparatore contestuale a grana fine che ordina le architetture candidate codificando congiuntamente token architetturali e rappresentazioni dei dataset. Queste due fonti di conoscenza a priori sono quindi integrate in una procedura evolutiva che combina inizializzazione guidata dai priori, filtraggio dei candidati basato sul comparatore, conservazione delle élite ed esplorazione controllata. Esperimenti su nove dataset pubblici multivariati, sotto un protocollo Weather-style 96/96, mostrano che lo spazio di ricerca proposto può scoprire architetture che riducono l'MSE di test rispetto a una forte baseline di previsione riprodotta nella maggior parte dei dataset valutati. I risultati mostrano inoltre che le strategie di ricerca basate su COSMOS ottengono i migliori risultati selezionati in validazione su Weather, ETTm1 e Traffic, indicando che i priori strutturali appresi possono fornire segnali di ranking utili per alcuni task target. Tuttavia, il vantaggio delle strategie basate su COSMOS non è uniforme su tutti i dataset, e la baseline riprodotta rimane più forte sui dataset ad alta dimensionalità Electricity e Traffic nel confronto sullo spazio di ricerca. Questi risultati offrono una valutazione empirica bilanciata: la ricerca modulare di architetture può completare backbone di previsione forti e progettati manualmente sotto un protocollo Weather-style controllato, mentre una copertura più ampia del meta-training e un adattamento più robusto ai dataset ad alta dimensionalità sono necessari per un trasferimento cross-dataset più affidabile.